CN110648305B - 工业图像检测方法、系统与计算机可读记录介质 - Google Patents

工业图像检测方法、系统与计算机可读记录介质 Download PDF

Info

Publication number
CN110648305B
CN110648305B CN201910008430.0A CN201910008430A CN110648305B CN 110648305 B CN110648305 B CN 110648305B CN 201910008430 A CN201910008430 A CN 201910008430A CN 110648305 B CN110648305 B CN 110648305B
Authority
CN
China
Prior art keywords
image
hidden vector
detected
normal
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910008430.0A
Other languages
English (en)
Other versions
CN110648305A (zh
Inventor
赖昱廷
胡竹生
蔡雅惠
张耿豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW107134854A external-priority patent/TWI683262B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN110648305A publication Critical patent/CN110648305A/zh
Application granted granted Critical
Publication of CN110648305B publication Critical patent/CN110648305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种工业图像检测方法、系统与计算机可读记录介质，包括：得到一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。

Description

工业图像检测方法、系统与计算机可读记录介质
技术领域
本发明涉及一种工业图像检测方法、系统与计算机可读记录介质，且特别涉及一种基于生成式对抗网络的非监督式工业图像检测方法、系统与计算机可读记录介质。
背景技术
随着工业自动化以及产品日新月异，所需检测的产品数量也越趋庞大。自动光学检测(Automated Optical Inspection，AOI)系统运用机器视觉做为检测技术，可用于取代传统的人力检测。在工业工艺中，自动光学检测可取得成品的表面状态，再以计算机图像处理技术来检出异物或图案异常等瑕疵。
经过自动光学检测机台的自动检测后，可能仍需由检测人员做人工复判工作，使得所需检测人员数量以及事先的人员训练工作也越趋频繁。再者，工业图像的瑕疵通常都需要人为做标注(labeling)分类。但瑕疵变化小且难发掘，造成标注的良率会有所变异。近年来人工智能兴起，卷积式类神经网络(CNN)能够有效的应用在图像上做分类，但仍需要事先标注瑕疵的类别，使得训练过程越加冗长。
故而，如何使工业图像检测流程更有效率乃是业界努力方向之一。
发明内容
根据本申请一实施例，提出一种工业图像检测方法，包括：得到一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。
根据本申请另一实施例，提出一种工业图像检测系统，包括：一自动光学检查设备，对多个样本进行自动光学检查；以及一图像检测模块，耦接于该自动光学检查设备。该图像检测模块架构成用以：得到由该自动光学检查设备所输出的一待测图像的一待测隐向量；测量一正常图像的一训练隐向量与该待测图像的该待测隐向量之间的一距离；以及根据该正常图像的该训练隐向量与该待测图像的该待测隐向量之间的该距离，判断该待测图像是正常或瑕疵。
根据本申请又一实施例，提出一种计算机可读记录介质，当由一工业图像检测系统载入并执行时，可以执行如上所述的工业图像检测方法
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1显示根据本申请实施例的工业图像检测系统的功能方块示意图。
图2显示根据本申请一实施例的图像检测模块的图像检测流程。
图3显示根据本申请一实施例的训练阶段的流程图。
图4显示根据本申请一实施例的测试阶段的流程图。
【符号说明】
100：工业图像检测系统 120：自动光学检查设备
150：图像检测模块 170：分类装置
210-250、305-345、405-450：步骤
具体实施方式
本说明书的技术用语系参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本公开的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本领域技术人员可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。
图1显示根据本申请实施例的工业图像检测系统的功能方块示意图。在图1中，工业图像检测系统100包括：自动光学检查(Automated Optical Inspection，AOI)设备120与图像检测模块150。经过图像检测模块150的检测/分类结果可送至分类装置170，进行分类。
自动光学检查设备120例如包括：AOI图像处理软件，AOI传感器系统、AOI检测机台等物件。自动光学检查设备120的架构在本申请实施例中可不特别限定。自动光学检查设备120可对多个样本进行自动光学检查。
图像检测模块150可耦接于自动光学检查设备120，进行瑕疵误杀复判的功能。图像检测模块150可执行GAN(生成式对抗网络，Generative Adversarial Network)的相关功能。图像检测模块150可由处理器等类似装置所实施。
分类装置170例如用以将分类后的各样本送至各自的分类区，以进行后续的样本工艺使用、样本瑕疵修补，或样本废弃处理等。分类装置170例如包括：气压缸、输送带、悬臂机构、机器手臂、载台等物件的任意组合。分类装置170的架构在本申请实施例中可不特别限定。
此外，虽然在图1中，图像检测模块150接续于自动光学检查设备120之后，但在本申请其他实施例中，图像检测模块也可不接续于自动光学检查设备之后，亦即图像检测模块可以独立自行进行瑕疵检测，此亦在本申请精神范围内。
图2显示根据本申请一实施例的图像检测模块的图像检测流程。如图2所示，在步骤210中，利用正常图像来训练GAN(亦即，训练图1中的图像检测模块150的生成器)，其中，“正常图像”是指先前检测结果所得到的正常图像(亦即，经机器或人工检测后，所得到的成功的正常图像)。
在步骤220中，判断GAN(或生成器)是否已训练成功。如果否的话，则回到步骤210再次训练GAN(或生成器)(例如，利用更多的正常图像来训练GAN(或生成器))。
在步骤230中，得到正常图像的隐向量(也可称为训练隐向量)，其细节将在底下说明。
在步骤240中，得到待测图像的隐向量(也可称为待测隐向量)，其细节将在底下说明，其中，“待测图像”是指将检测线上或自动光学检查设备120检测后的图像。
在步骤250中，比较正常图像的训练隐向量与待测图像的待测隐向量，以判断待测图像是正常或瑕疵。步骤250例如是，测量正常图像的训练隐向量与待测图像的待测隐向量间的距离，如果该距离小于一阈值的话，则代表待测图像是正常，反之则代表待测图像是瑕疵。
现请参考图3，其显示根据本申请一实施例的训练阶段的流程图。在步骤305中，在设定好的隐空间内初始化隐向量(latent vector)。例如是，随机由单位圆(其为自设，可以根据需要而更改)内，用高斯分布产生隐向量。
在步骤310中，将隐向量(或称为训练隐向量)输入至图像检测模块150的生成器(generator)。
在步骤315中，图像检测模块150的生成器根据隐向量来产生相对应的生成图像。生成器是为了让生成图像越接近正常图像。在本申请实施例中，在步骤320中，正常图像和生成图像一起输入至图像检测模块150的判别器。在步骤325中，由判别器比较正常图像和生成图像，并决定判别器是否能分别出正常图像和生成图像。步骤325的细节例如是，判别器在比较正常图像与生成图像之后，判别器产生预测标注(predicted label)。如果判别器判定生成图像接近正常图像，判别器所产生的预测标注为正常(real)；相反地，如果判别器判定生成图像不接近正常图像，判别器所产生的预测标注为失败(fail)。由判别器所产生的预测标注会比较于参考标准标注(ground truth label)，参考标准标注的值为正常与失败之一。如果判别器所产生的预测标注匹配于参考标准标注，则代表此次的判别器的比较结果为正确。相反地，如果判别器所产生的预测标注不匹配于参考标准标注，则代表此次的判别器的比较结果为失败。
在本申请实施例中，生成器和判别器进行抗衡训练。也就是说，生成器要生成更接近正常图像的生成图像，使得判别器无法辨别出生成图像与正常图像。另一方面，判别器要更加能够分别出正常图像与生成图像。这种抗衡的训练能够以数学式表示成损失函数(loss function)。
在步骤330中，根据标注差异(亦即预测标注与参考标准标注间的差异)来计算GAN的损失函数，并使用随机梯度下降(SGD，Stochastic Gradient Descent)来更新生成器、判别器与隐向量。步骤330的操作也可称为“最小化目标函数方法”或“优化器(Optimizer)”或“优化算法”。
在步骤335中，验证生成器是否能够生成预期的成果。例如，利用均方误差(mean-square error，MSE)、结构相似性指标(structural similarity index，SSIM index)或t-分布邻域嵌入算法(t-SNE，t-distributed Stochastic Neighbor Embedding)等方法来验证生成器是否能够生成预期的成果。
如果步骤335为是(生成器能生成预期的成果)，则在步骤340中，记录生成器的模型与参数，以及训练完成的隐向量(可称为训练隐向量)。在步骤340中，一并记录训练隐向量，以及训练隐向量的平均值(mean)与差异值(variance)(μ1，c1)。之后，训练流程结束。
如果步骤335为否(生成器无法生成预期的成果)，则在步骤345中，将隐向量用模限制投影回单位圆，并将所得到的隐向量输入至生成器，继续训练生成器。其中，模限制投影可以为L2投影、L1投影或L无限大投影等，或其他类似方法。在L2投影中所得到的隐向量可表示如下：
z/sqrt(sum(z2))，其中z为隐向量，而sum(z2)代表总和，sqrt代表平方根。
在步骤345中，将隐向量用L2投影回单位圆的原因在于，由于在本申请实施例中，使用随机梯度下降(SGD，Stochastic Gradient Descent)来更新隐向量，这将使得隐向量可能超出原先所设定的隐空间范围，不利往后的检测。故而，使用L2的模限制(normconstraint)，将超出范围的隐向量投影回原先所设定的隐空间范围。
通过图3的流程，可以训练生成器，并得到正常图像的隐向量(也可称为正常图像的训练隐向量)。
现将说明本申请实施例如何得到进行测试阶段。请参照图4，显示根据本申请一实施例的测试阶段的流程图。
如图4所示，在步骤405中，在设定好的隐空间内初始化隐向量(由于是用于测试阶段的隐向量，也可称为待测隐向量)。例如是，随机由单位圆(其为自设，可以根据需要而更改)内，用高斯分布产生(待测)隐向量。
在步骤410中，将(待测)隐向量输入至图像检测模块150的生成器，以让生成器生成“生成图像”。在步骤415中，比较“生成图像”与“待测图像”之间的差异，例如是比较“生成图像”与“待测图像”之间像素值差异，其细节在此不重述。在本申请一实施例中，在测试阶段中，生成器的模型与参数要固定。
在步骤420中，利用“生成图像”与“待测图像”之间像素值差异来计算损失函数，并使用随机梯度下降法来更新(待测)隐向量。
在步骤425中，判断迭代是否已结束(亦即，是否已产生最佳化的(待测)隐向量)。如果步骤425为否(尚未产生最佳化的(待测)隐向量)，则流程回至步骤410，将更新后的(待测)隐向量输入至生成器，以让生成器再次生成“生成图像”。
如果步骤425为是(已产生最佳化的(待测)隐向量)，则在步骤430中，记录最佳化的(待测)隐向量与其平均值(mean)与差异值(variance)(μ2，c2)。
在步骤435中，测量(在训练阶段所得到的)训练隐向量与(在测试阶段所得到的)最佳化的(待测)隐向量之间的距离。步骤435的细节例如是，利用“多变量的高斯分布(multivariate normal distribution)”来测量(在训练阶段所得到的)训练隐向量与(在测试阶段所得到的)最佳化的(待测)隐向量之间的距离，其公式表示如下：
Figure BDA0001936341190000061
其中，Tr代表迹数(Trace)。
在步骤440中，判断(在训练阶段所得到的)训练隐向量与(在测试阶段所得到的)最佳化的(待测)隐向量之间的距离是否小于一阈值。如果步骤440为是，则代表(在训练阶段所得到的)训练隐向量很接近(在测试阶段所得到的)最佳化的(待测)隐向量，也就是代表生成器所生成的“生成图像”的分布情形很接近“待测图像”的分布情形，所以判断此待测图像属于正常产品(步骤445)。反之，如果步骤440为否，则代表(在训练阶段所得到的)训练隐向量不接近于(在测试阶段所得到的)最佳化的(待测)隐向量，也就是代表生成器所生成的“生成图像”的分布情形不接近“待测图像”的分布情形，所以判断此待测图像属于瑕疵产品(步骤450)。
本申请另一实施例公开一种计算机可读记录介质，当由一工业图像检测系统载入并执行时，可以执行如上所述的工业图像检测方法。
对于测试阶段而言，有时会出现无法直接从图像空间来辨别出瑕疵品，故而，在本申请实施例中，利用图4的测试流程，能够将原本分类不出来的图像在隐空间中分开来，以在隐空间中辨别瑕疵产品以及正常产品。
此外，本申请实施例可利用2D摄影装置取得2D图像后进行训练，即可利用训练好的模型进行测测流程，不需加装额外硬件设备。本申请实施例可进行递回式的深度学习来降低误杀率，故而，本申请实施例不需要大量人力来进行人工复查，也不需烦杂的人工标注操作。
所以，相较于现有AOI机台成本以及检测所需的人力成本，本申请实施例的成本较低廉且测试时间较短。本申请实施例可应用于工业检测、金属加工、汽机车零组件、纺织、印刷、医疗及五金工业等相关制造业的光学检测应用。
如上述，本申请实施例提出以生成对抗网络(GAN)来学习正常图像的技术手段，利用GAN能够精准学习图像分布的特性。利用单一类别的数据集，训练生成器并记录所训练好的(训练)隐向量。本申请实施例更在训练阶段时，在隐空间使用模限制(Norm-constraint)，达到限缩隐向量的效果。而在测试阶段时，最佳化待测图像的(待测)隐向量。藉由比较正常图像的(训练)隐向量与待测图像的(待测)隐向量，即可将瑕疵检测出来。故而，本申请实施例可大幅降低漏检率(Leakage)。
此外，本申请实施例属于非监督式学习，因此不需要额外标注瑕疵数据集(dataset)，可以解决现有自动光学检测算法需反复调整参数的缺点，并可以广泛应用于不同属性的数据集上。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附权利要求书界定范围为准。

Claims (9)

1.一种工业图像检测方法，包括：
得到待测图像的隐向量；
测量正常图像的隐向量与该待测图像的该隐向量之间的距离；以及
根据该正常图像的该隐向量与该待测图像的该隐向量之间的该距离，判断该待测图像是正常或瑕疵，其中，当该正常图像的该隐向量与该待测图像的该隐向量之间的该距离小于阈值的话，判断该待测图像是正常；
其中，得到该待测图像的该隐向量的步骤包括：
初始化该待测图像的该隐向量；
将该待测图像的该隐向量输入至一生成器，以让该生成器产生一生成图像；
比较该生成图像与该待测图像之间的一像素值差异；以及
利用该生成图像与该待测图像之间的该像素值差异来计算一损失函数，并更新该待测图像的该隐向量；
如果判断尚未产生最佳化的该待测图像的该隐向量，将更新后的该待测图像的该隐向量输入至该生成器，以让该生成器再次产生该生成图像；以及
如果判断已产生最佳化的该待测图像的该隐向量，则记录最佳化的该待测图像的该隐向量、该待测图像的该隐向量的平均值与差异值；并且
在训练阶段：
初始化该正常图像的该隐向量；
将该正常图像的该隐向量输入至该生成器，以让该生成器来产生该生成图像；
将该正常图像和该生成图像一起输入至判别器；
由该判别器比较该正常图像和该生成图像，并决定该判别器是否能分别出该正常图像和该生成图像；
根据标注差异来计算该损失函数，并更新该生成器、该判别器与该正常图像的该隐向量；
如果该生成器能产生预期成果，记录该生成器的模型与参数，以及该正常图像的该隐向量，以及该正常图像的该隐向量的平均值与差异值；以及
如果该生成器不能产生该预期成果，将该正常图像的该隐向量用模限制投影回单位圆，并将所得到的该正常图像的该隐向量输入至该生成器，以继续训练该生成器。
2.如权利要求1所述的工业图像检测方法，其中，在初始化该待测图像的该隐向量时，随机由单位圆内，用高斯分布产生该待测图像的该隐向量。
3.如权利要求1所述的工业图像检测方法，其中，测量该正常图像的该隐向量与该待测图像的该隐向量之间的该距离的该步骤包括：根据该待测图像的该隐向量的该平均值与该差异值，以及该正常图像的该隐向量的平均值与差异值，来测量该正常图像的该隐向量与最佳化的该待测图像的该隐向量之间的该距离。
4.如权利要求1所述的工业图像检测方法，其中，当该正常图像的该隐向量与该待测图像的该隐向量之间的该距离不小于阈值的话判断该待测图像是瑕疵。
5.一种工业图像检测系统，包括：
自动光学检查设备，对多个样本进行自动光学检查；以及
图像检测模块，耦接于该自动光学检查设备，该图像检测模块架构成用以：
得到由该自动光学检查设备所输出的待测图像的隐向量；
测量正常图像的隐向量与该待测图像的该隐向量之间的距离；以及
根据该正常图像的该隐向量与该待测图像的该隐向量之间的该距离，判断该待测图像是正常或瑕疵，其中，当该正常图像的该隐向量与该待测图像的该隐向量之间的该距离小于阈值的话，该图像检测模块判断该待测图像是正常；
其中，该图像检测模块架构成用以：
初始化该待测图像的该隐向量；
将该待测图像的该隐向量输入至该图像检测模块的一生成器，以让该生成器产生生成图像；
比较该生成图像与该待测图像之间的一像素值差异；以及
利用该生成图像与该待测图像之间的该像素值差异来计算一损失函数，并更新该待测图像的该隐向量；并且
其中，该图像检测模块还用以：
如果判断尚未产生最佳化的该待测图像的该隐向量，将更新后的该待测图像的该隐向量输入至该生成器，以让该生成器再次产生该生成图像；以及
如果判断已产生最佳化的该待测图像的该隐向量，则记录最佳化的该待测图像的该隐向量、该待测图像的该隐向量的平均值与差异值；并且
在训练阶段：
初始化该正常图像的该隐向量；
将该正常图像的该隐向量输入至该图像检测模块的该生成器，以让该生成器来产生该生成图像；
将该正常图像和该生成图像一起输入至该图像检测模块的判别器；
由该判别器比较该正常图像和该生成图像，并决定该判别器是否能分别出该正常图像和该生成图像；
根据标注差异来计算该损失函数，并更新该生成器、该判别器与该正常图像的该隐向量；
如果该生成器能产生预期成果，记录该生成器的模型与参数，以及该正常图像的该隐向量，以及该正常图像的该隐向量的平均值与差异值；以及
如果该生成器不能产生该预期成果，将该正常图像的该隐向量用模限制投影回单位圆，并将所得到的该正常图像的该隐向量输入至该生成器，以继续训练该生成器。
6.如权利要求5所述的工业图像检测系统，其中，在初始化该待测图像的该隐向量时，该图像检测模块随机由单位圆内，用高斯分布产生该待测图像的该隐向量。
7.如权利要求5所述的工业图像检测系统，其中，该图像检测模块还用以：
根据该待测图像的该隐向量的该平均值与该差异值，以及该正常图像的该隐向量的平均值与差异值，来测量该正常图像的该隐向量与最佳化的该待测图像的该隐向量之间的该距离。
8.如权利要求5所述的工业图像检测系统，其中，当该正常图像的该隐向量与该待测图像的该隐向量之间的该距离不小于阈值的话，该图像检测模块判断该待测图像是瑕疵。
9.一种计算机可读记录介质，当由工业图像检测系统载入并执行时，用以执行如权利要求1所述的工业图像检测方法。
CN201910008430.0A 2018-06-08 2019-01-04 工业图像检测方法、系统与计算机可读记录介质 Active CN110648305B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862682253P 2018-06-08 2018-06-08
US62/682,253 2018-06-08
TW107134854A TWI683262B (zh) 2018-06-08 2018-10-02 工業影像檢測方法、系統與電腦可讀取記錄媒體
TW107134854 2018-10-02

Publications (2)

Publication Number Publication Date
CN110648305A CN110648305A (zh) 2020-01-03
CN110648305B true CN110648305B (zh) 2023-01-03

Family

ID=68765237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910008430.0A Active CN110648305B (zh) 2018-06-08 2019-01-04 工业图像检测方法、系统与计算机可读记录介质

Country Status (2)

Country Link
US (1) US11315231B2 (zh)
CN (1) CN110648305B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11019087B1 (en) * 2019-11-19 2021-05-25 Ehsan Adeli Computer vision-based intelligent anomaly detection using synthetic and simulated data-system and method
CN111265317B (zh) * 2020-02-10 2022-06-17 上海牙典医疗器械有限公司 一种牙齿正畸过程预测方法
CN111693534B (zh) * 2020-06-12 2023-09-15 北京百度网讯科技有限公司 表面缺陷的检测方法、模型训练方法、装置、设备和介质
CN111724372A (zh) * 2020-06-19 2020-09-29 深圳新视智科技术有限公司 基于对抗神经网络的布匹缺陷检测方法、终端和存储介质
CN112116073A (zh) * 2020-09-18 2020-12-22 神思电子技术股份有限公司 一种基于改进gan网络的高斯分布数据调整方法
CN112836570B (zh) * 2020-12-16 2024-02-06 东南大学 一种利用高斯噪声的设备异常检测方法
TWI795729B (zh) * 2021-02-09 2023-03-11 鴻海精密工業股份有限公司 圖像瑕疵檢測方法、電子設備及存儲介質
US11893717B2 (en) * 2021-02-26 2024-02-06 Adobe Inc. Initializing a learned latent vector for neural-network projections of diverse images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082419B1 (en) * 1999-02-01 2006-07-25 Axeon Limited Neural processing element for use in a neural network
US20060188849A1 (en) * 2005-01-07 2006-08-24 Atid Shamaie Detecting and tracking objects in images
US20070217683A1 (en) * 2006-03-13 2007-09-20 Koichi Kinoshita Feature point detecting device, feature point detecting method, and feature point detecting program
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US7046842B2 (en) 1999-08-17 2006-05-16 National Instruments Corporation System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
US7761182B2 (en) 2005-01-21 2010-07-20 Photon Dynamics, Inc. Automatic defect repair system
US20080281548A1 (en) 2005-08-26 2008-11-13 Camtek Ltd Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
US8131107B2 (en) 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
CN101419671B (zh) 2008-11-10 2011-05-18 北方工业大学 基于模糊支持向量机的人脸性别识别方法
CN101539930B (zh) 2009-04-21 2011-06-15 武汉大学 一种相关反馈图像检索方法
CN101692224B (zh) 2009-07-08 2011-08-17 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
WO2011115666A2 (en) 2010-03-13 2011-09-22 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
SG189226A1 (en) 2010-10-19 2013-05-31 3M Innovative Properties Co Continuous charting of non-uniformity severity for detecting variability in web-based materials
TWI408037B (zh) 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
CN102739952B (zh) 2011-03-29 2015-06-03 财团法人工业技术研究院 多视角取像方法及其应用系统
CN102208038B (zh) 2011-06-27 2012-12-26 清华大学 基于视觉词典的图像分类方法
CN102314614B (zh) 2011-10-24 2013-06-05 北京大学 一种基于类共享多核学习的图像语义分类方法
CN103294716B (zh) 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9310316B2 (en) 2012-09-11 2016-04-12 Kla-Tencor Corp. Selecting parameters for defect detection methods
CN102999762B (zh) 2012-10-25 2016-01-20 西安电子科技大学 基于Freeman分解和谱聚类的极化SAR图像分类方法
CN103177265B (zh) 2013-03-25 2016-09-14 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103345645B (zh) 2013-06-27 2016-09-28 复旦大学 面向网购平台的商品图像类别预测方法
TWI480508B (zh) 2013-09-16 2015-04-11 Ind Tech Res Inst 物體位置資訊的量測方法及裝置
TWI525317B (zh) 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
TWI493153B (zh) 2014-04-08 2015-07-21 Ind Tech Res Inst 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
US9645097B2 (en) 2014-06-20 2017-05-09 Kla-Tencor Corporation In-line wafer edge inspection, wafer pre-alignment, and wafer cleaning
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
CN105718937B (zh) 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
TWI517101B (zh) 2014-12-09 2016-01-11 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
CN104670896A (zh) 2015-02-05 2015-06-03 孙平 双线平行输送自动上下pcb板的aoi工位
US9349098B1 (en) 2015-05-14 2016-05-24 James Albert Ionson Cognitive medical and industrial inspection system and method
CN105277567B (zh) 2015-05-21 2018-10-23 南通大学 一种织物瑕疵检测方法
CN105184298B (zh) 2015-08-27 2018-10-19 重庆大学 一种快速局部约束低秩编码的图像分类方法
CA2941729A1 (en) * 2015-09-14 2017-03-14 Sightline Innovation Inc. System and method for specular surface inspection
CN105354598B (zh) * 2015-11-25 2019-01-01 先进储能材料国家工程研究中心有限责任公司 一种在线检测连续带状泡沫金属材料漏镀缺陷的方法
CN105608690B (zh) 2015-12-05 2018-06-08 陕西师范大学 一种基于图论和半监督学习相结合的图像分割方法
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US9864912B2 (en) 2016-03-30 2018-01-09 Nec Corporation Large margin high-order deep learning with auxiliary tasks for video-based anomaly detection
US20170284896A1 (en) 2016-03-31 2017-10-05 General Electric Company System and method for unsupervised anomaly detection on industrial time-series data
CN105854598A (zh) 2016-05-11 2016-08-17 中国大唐集团科学技术研究院有限公司华东分公司 一种均匀喷氨系统及其控制方法
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US9754205B1 (en) 2016-07-01 2017-09-05 Intraspexion Inc. Using classified text or images and deep learning algorithms to identify risk of product defect and provide early warning
CN107328787A (zh) 2017-07-05 2017-11-07 北京科技大学 一种基于深度卷积神经网络的金属板带表面缺陷检测系统
CN107392896B (zh) 2017-07-14 2019-11-08 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN107527318B (zh) 2017-07-17 2021-06-04 复旦大学 一种基于生成对抗式网络模型的发型更换方法
CN107451994A (zh) 2017-07-25 2017-12-08 宸盛科华（北京）科技有限公司 基于生成对抗网络的物体检测方法及装置
CN107507126B (zh) 2017-07-27 2020-09-18 和创懒人(大连)科技有限公司 一种利用rgb图像还原3d场景的方法
US10579875B2 (en) * 2017-10-11 2020-03-03 Aquifi, Inc. Systems and methods for object identification using a three-dimensional scanning system
CN107909153A (zh) 2017-11-24 2018-04-13 天津科技大学 基于条件生成对抗网络的模型化策略搜索学习方法
CN107977629A (zh) 2017-12-04 2018-05-01 电子科技大学 一种基于特征分离对抗网络的人脸图像衰老合成方法
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US11361191B2 (en) * 2018-05-22 2022-06-14 Ebay Inc. Adversarial learning for finegrained image search

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082419B1 (en) * 1999-02-01 2006-07-25 Axeon Limited Neural processing element for use in a neural network
US20060188849A1 (en) * 2005-01-07 2006-08-24 Atid Shamaie Detecting and tracking objects in images
US20070217683A1 (en) * 2006-03-13 2007-09-20 Koichi Kinoshita Feature point detecting device, feature point detecting method, and feature point detecting program
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法

Also Published As

Publication number Publication date
US11315231B2 (en) 2022-04-26
CN110648305A (zh) 2020-01-03
US20190378263A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110648305B (zh) 工业图像检测方法、系统与计算机可读记录介质
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
US11132787B2 (en) Method for monitoring manufacture of assembly units
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
TWI683262B (zh) 工業影像檢測方法、系統與電腦可讀取記錄媒體
CN109060817B (zh) 人工智能复检系统及其方法
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
US10636133B2 (en) Automated optical inspection (AOI) image classification method, system and computer-readable media
CN110659660A (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
CN111712769B (zh) 用于设定照明条件的方法、装置、系统以及存储介质
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
TW202013248A (zh) 車輛損壞識別方法及裝置
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
KR20210150970A (ko) 약한 라벨링을 사용한 반도체 시편들에서의 결함들의 검출
KR20220095216A (ko) Sem 이미지에 대한 bbp 지원 결함 검출 흐름
CN113221889A (zh) 一种芯片字符抗干扰识别方法及装置
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN113544604A (zh) 流水线的装配误差校正
US20200005084A1 (en) Training method of, and inspection system based on, iterative deep learning system
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
KR102360769B1 (ko) 시편의 검사를 위한 알고리즘 모듈들의 자동 선택
CN111160667A (zh) 一种提高食品安全预测模型鲁棒性的方法及装置
CN111415326A (zh) 一种用于铁路接触网螺栓异常状态的检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant