CN109726730B - 自动光学检测图像分类方法、系统及计算机可读介质 - Google Patents

自动光学检测图像分类方法、系统及计算机可读介质 Download PDF

Info

Publication number
CN109726730B
CN109726730B CN201711131911.8A CN201711131911A CN109726730B CN 109726730 B CN109726730 B CN 109726730B CN 201711131911 A CN201711131911 A CN 201711131911A CN 109726730 B CN109726730 B CN 109726730B
Authority
CN
China
Prior art keywords
samples
classification
sample
training module
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711131911.8A
Other languages
English (en)
Other versions
CN109726730A (zh
Inventor
张耿豪
邱威尧
蔡雅惠
胡竹生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN109726730A publication Critical patent/CN109726730A/zh
Application granted granted Critical
Publication of CN109726730B publication Critical patent/CN109726730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

自动光学检测图像分类方法、系统及计算机可读取介质。该自动光学检测图像分类方法包括：将一自动光学检查设备所传来的多个样本的多个失败(NG)信息送入一人工智能训练模块内；该人工智能训练模块对这些样本的这些失败信息进行离散输出，以得到对这些样本的多个分类信息；该人工智能训练模块将这些样本的这些分类信息进行核函数运算，以计算这些样本的个别相似性距离并进行权重分析；根据对这些样本的权重分析结果，进行分类结果判定，以判定这些样本的个别分类结果；以及根据这些样本的个别分类结果，对这些样本进行分类。

Description

自动光学检测图像分类方法、系统及计算机可读介质
技术领域
本发明涉及一种自动光学检测图像分类方法、系统及其计算机可读介质。
背景技术
自动光学检查(Automated Optical Inspection，AOI)为高速高精度光学图像检测系统，运用机器视觉做为检测技术，可用于取代传统的人力检测。在工业工艺中，自动光学检查可取得成品的表面状态，再以计算机图像处理技术来检出异物或图案异常等瑕疵。
然而，传统AOI设备在进行瑕疵检测时，漏检(Leakage，未检测出瑕疵，将坏样本误判为好样本)或误杀(Overkill，将好样本误判为坏样本)是可能出现的。对于漏检或误杀，传统上，仰赖人员复判以提高检出正确率，但这将造成验收时程冗长。
此外，传统的AOI检测技术，待测物(例如，晶圆)需先经过训练特征模型、分类模式、瑕疵种类等程序，这些程序无法达到快速换线的需求。
发明内容
本申请一实施例提出一种自动光学检测图像分类方法，包括：将一自动光学检查(Automated Optical Inspection，AOI)设备所传来的多个样本的多个失败(NG)信息送入一人工智能训练模块内；该人工智能训练模块对这些样本的这些失败信息进行离散输出，以得到对这些样本的多个分类信息；该人工智能训练模块将这些样本的这些分类信息进行核函数运算，以计算这些样本的个别相似性距离并进行权重分析；根据对这些样本的权重分析结果，进行分类结果判定，以判定这些样本的个别分类结果；以及根据这些样本的个别分类结果，对这些样本进行分类。
本申请另一实施例提出一种自动光学检测图像分类系统，一自动光学检查(Automated Optical Inspection，AOI)设备，对多个样本进行自动光学检查，以得到这些样本的个别成功信息或失败(NG)信息；以及一人工智能训练模块，耦接于该自动光学检查设备，该人工智能训练模块接收由该自动光学检查设备所传来的这些样本的这些失败信息，该人工智能训练模块对这些样本的这些失败信息进行离散输出，以得到对这些样本的多个分类信息，该人工智能训练模块将这些样本的这些分类信息进行核函数运算，以计算这些样本的个别相似性距离并进行权重分析，根据对这些样本的权重分析结果，进行分类结果判定，以判定这些样本的个别分类结果。
本申请更一实施例提出一种计算机可读记录介质，当载入于一自动光学检测图像分类系统时，该自动光学检测图像分类系统可执行如上所述的自动光学检测图像分类方法。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1显示根据本申请实施例的自动光学检测图像分类系统的功能方块示意图。
图2显示根据本申请实施例的自动光学检测图像分类方法的流程图。
图3A与图3B显示根据本申请实施例的核函数(kernel function)，对样本进行权重特征分析的示意图。
图4A与图4B分别显示已知技术的分类结果与根据本申请实施例的自动光学检测图像分类系统的分类结果。
图5A与图5B分别显示根据本申请实施例的核函数，对样本进行权重特征分析的示意图。
【符号说明】
100：自动光学检测图像分类系统
120：自动光学检查设备
150：人工智能训练模块
170：分类装置
210-245：步骤
310、410-450：样本
具体实施方式
本说明书的技术用语参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释以本说明书的说明或定义为准。本公开的各个实施例分别具有一或多个技术特征。在可能实施的前提下，本领域技术人员可选择性地实施任一实施例中部分或全部的技术特征，或者选择性地将这些实施例中部分或全部的技术特征加以组合。
图1显示根据本申请实施例的自动光学检测图像分类系统的功能方块示意图。图2显示根据本申请实施例的自动光学检测图像分类方法的流程图。图3A与图3B显示根据本申请实施例的核函数(kernel function)进行权重特征分析的示意图。图4A与图4B分别显示已知技术的分类结果与根据本申请实施例的自动光学检测图像分类系统的分类结果。
在图1中，自动光学检测图像分类系统100包括：自动光学检查(AutomatedOptical Inspection，AOI)设备120与人工智能(Artificial Intelligence，AI)训练模块150。经过人工智能训练模块150的分类结果可送至分类装置170，进行分类。
自动光学检查设备120例如包括：AOI图像处理软件，AOI传感器系统、AOI检测机台等物件。自动光学检查设备120的架构在本申请实施例中可不特别限定。
人工智能训练模块150可耦接于自动光学检查设备120，进行瑕疵误杀复判的功能。
分类装置170例如用以将分类后的各样本送至各自的分类区，以进行后续的样本工艺使用、样本瑕疵修补，或样本废弃处理等。分类装置170例如包括：气压缸、输送带、悬臂机构、机器手臂、载台等物件的任意组合。分类装置170的架构在本申请实施例中可不特别限定。
在本申请实施例中，自动光学检查设备120进行光学检测(步骤210)，其中，光学检测结果包括：OK(成功)检出结果与NG(失败)检出结果。OK(成功)检出结果代表该样本经过检测后，被认为是好的，但其中仍有可能存在漏检的可能性。NG(失败)检出结果代表该样本经过检测后，被认为是失败的，但其中仍有可能存在误杀的可能性。
故而，在本申请实施例中，判断是否有已训练好的人工智能训练模块150(步骤215)。如果人工智能训练模块150尚未被训练好(亦即，该人工智能训练模块150是初次被训练)或者是人工智能训练模块150需要被人工调整时，则由人工来复判(步骤220)，决定是否存在误杀瑕疵。
在步骤225中，样本进入AI训练模块150，其中，样本可能是来自AOI设备或者是来自人工复判；如果是来自AOI设备120的样本，则该样本是被AOI设备120判为NG的；如果是来自人工复判的样本，则该样本是被AOI设备120判为NG的，但人工检测认为是OK的(亦即是被AOI设备120误杀的样本)。在本申请实施例中，对被判为NG的样本的信息称为NG信息。
在步骤230中，AI训练模块150对这些样本进行离散输出，以得到对这些样本的各分类结果。
在本申请实施例中，AI训练模块150将经过离散输出后所得的分类结果，进行进一步的核函数运算(kernel function)(步骤235)，对于样本的分类结果计算相似性度量(Similarity Measurement)或者相似性距离，并根据相似性距离进行权重分析。亦即，根据相似性度量，将相似性较高(亦即，相似性距离较小)的样本的分类信息给予较高的权重，将相似性较低(亦即，相似性距离较远)的样本的分类信息给予较低的权重。对于经权重分析的结果可进行正规化。如此一来，使得模糊缺陷的分类结果更显著。
在步骤240中，根据核函数运算结果，进行分类结果的判定，以判定这些样本属于分类1～分类n(n为正整数)之一。步骤240的分类判断结果可以反馈至AI训练模块150，用以训练AI训练模块150，来增加AI训练模块150的强健性，使分类结果差异化更加明显(亦即，更容易判读其分类)。
此外，根据步骤240中的分类判定结果，驱动分类装置170以进行分类(步骤245)，将各样本送至各自的分类区，以进行后续的样本工艺使用、样本瑕疵修补，或样本废弃处理等。
现请参考如图3A所示，说明本申请一实施例如何进行核函数，以得到较佳的分类结果。在图3A中分类为n类(n为正整数)。假设经离散输出后，得到该样本的分类信息[X1、X2、…Xn]。
接着，计算样本310的分类信息[X1、X2、…Xn]与各理想分类(OK、ng1、…ng(n-1))之间的相似性度量(相似性距离)。在此，例如但不受限于，OK的理想分类信息是[1.0、0.0、…、0.0、0.0、0.0]，ng1的理想分类信息是[0.0、1.0、0.0、…、0.0、0.0]，而ng(n-1)的理想分类信息是[0.0、0.0、0.0、0.0、…、1.0]。
接着，本申请实施例可以利用算法，来计算该样本的分类信息与各分类(OK、ng1-ng(n-1))的理想分类信息之间的相似性度量。例如，可用于进行相似性度量的算法如下：欧几里得距离(Euclidean Distance)算法；曼哈顿距离(Manhattan Distance)算法；切比雪夫距离(Chebyshev Distance)算法；明可夫斯基距离(Minkowski Distance)算法；夹角余弦(Cosine)算法；马氏距离(Mahalanobis Distance)算法；杰卡德相似系数(Jaccardsimilarity coefficient)算法等。
如图3A所示，经过相似性度量后，所得到n个相似性距离分别为Δd1＝a1；Δd2＝a2；…；Δdn＝an，其中，Δd1代表该样本的分类信息与OK理想分类信息之间的相似性距离；Δd2代表该样本的分类信息与ng1理想分类信息之间的相似性距离；...；以及，Δdn代表该样本的分类信息与ng(n-1)理想分类信息之间的相似性距离。
接着，进行权重分析，让相似度较高的分类信息得到较高的权重。在本申请实施例中，权重分析的一例例如如下所示。将所有的相似性距离相加
Figure BDA0001469471290000051
并让个别相似性距离除以所有的相似性距离总和。得到下列值：
Figure BDA0001469471290000052
…与
Figure BDA0001469471290000053
之后，进行下列正规化计算(其用于举例说明，并非用于限制本申请)，为了将各分类的机率值总合成为整数1，利用如后的公式：
Figure BDA0001469471290000054
等来求得该样本的各权重加强后的分类信息，其中，w为正规化参数。
也就是说，对于该样本的这些相似性距离(相似性度量)，给予不同的权重，相似性距离(相似性度量)愈小者，给予愈大的权重；反之，相似性距离(相似性度量)愈大者，给予愈小的权重。
故而，根据该样本的正规化权重分析结果来判断该样本的分类。
现在举一例做说明，以了解本申请实施例如何提高分类判断的正确性。如图3B所示，以样本310为例做说明，说明本申请实施例如何进行核函数，以得到较佳的分类结果。假设经离散输出后，对样本310的分类信息乃是：[0.3、0.3、0.1、0.2、0.1]。
接着，计算样本310的分类信息[0.3、0.3、0.1、0.2、0.1]与各理想分类(OK、ng1-ng4)之间的相似性度量(相似性距离)。在此，例如但不受限于，OK的理想分类信息是[1.0、0.0、0.0、0.0、0.0]，ng1的理想分类信息是[0.0、1.0、0.0、0.0、0.0]，ng2的理想分类信息是[0.0、0.0、1.0、0.0、0.0]，ng3的理想分类信息是[0.0、0.0、0.0、1.0、0.0]，而ng4的理想分类信息是[0.0、0.0、0.0、0.0、1.0]。
接着，本申请实施例可以利用算法，来计算样本310的分类信息与各分类(OK、ng1-ng4)的理想分类信息之间的相似性度量。
如图3B所示，假设在一可能实施例中，经过相似性度量后，所得到5个相似性距离分别为Δd1＝10(a1)；Δd2＝40(a2)；Δd3＝120(a3)；Δd4＝100(a4)；Δd5＝80(a5)，其中，Δd1(a1)代表样本310的分类信息与OK理想分类信息之间的相似性距离；Δd2(a2)代表样本310的分类信息与ng1理想分类信息之间的相似性距离；Δd3(a3)代表样本310的分类信息与ng2理想分类信息之间的相似性距离；Δd4(a4)代表样本310的分类信息与ng3理想分类信息之间的相似性距离；以及，Δd5(a5)代表样本310的分类信息与ng4理想分类信息之间的相似性距离。
接着，进行权重分析，让相似度较高的分类信息得到较高的权重。在本申请实施例中，权重分析的一例例如如下所示。将所有的相似性距离相加
Figure BDA0001469471290000061
并让个别相似性距离除以所有的相似性距离总和。得到下列值：
Figure BDA0001469471290000062
Figure BDA0001469471290000063
与
Figure BDA0001469471290000064
之后，利用上述公式来进行下列正规化计算(w＝n-1＝5-1＝4)：
Figure BDA0001469471290000065
Figure BDA0001469471290000066
Figure BDA0001469471290000067
Figure BDA0001469471290000068
Figure BDA0001469471290000069
也就是说，对于样本310的这些相似性距离(相似性度量)，给予不同的权重，相似性距离(相似性度量)愈小者，给予愈大的权重；反之，相似性距离(相似性度量)愈大者，给予愈小的权重。
故而，由该样本的正规化权重分析结果可看到，该样本310应该被判为OK，而且，此判定的误杀机率大为降低(相较之下，如果用样本310的离散输出分类信息[0.3、0.3、0.1、0.2、0.1]来判断，可能会误判为ng1)。
如图4A所示，在已知技术中，对于各样本410-450，经过离散输出，可以得到这些样本的分类结果。例如，经过AI训练模块150进行离散输出后，样本410的分类信息乃是：[0.1、0.0、0.8、0.0、0.1]。故而，将样本410判定为ng2(第二种失败类型)是没有问题的，因为其机率0.8明显高于其他4种分类的机率。
图4A与图4B中的五种分类结果(OK、ng1-ng4)乃是用于举例说明，当知本申请并不受限于此。
相似地，样本420的分类信息乃是：[0.0、0.0、0.0、0.1、0.9]，故而，将样本420判定为ng4(第四种失败类型)是没有问题的，因为其机率0.9明显高于其他4种分类的机率。
样本430的分类信息乃是：[0.0、0.0、0.0、1.0、0.0]，故而，将样本430判定为ng3(第三种失败类型)是没有问题的，因为其机率1.0明显高于其他4种分类的机率。
样本440的分类信息乃是：[0.5、0.3、0.1、0.1、0.0]，故而，将样本440判定为OK可能存在误判潜在性，因为其OK的机率0.5虽高于其他4种分类的机率，但未明显高于其他4种分类的机率。
样本450的分类信息乃是：[0.3、0.3、0.1、0.2、0.1]，故而，将样本440判定为OK或者是ng1可能存在误判潜在性，因为样本440是OK或者是ng1的机率0.3，虽高于其他4种分类的机率，但未明显高于其他4种分类的机率。
亦即，如果以图4A的情况，在已知技术中，可能会将样本440分类为OK，且将样本450分类为OK(或者ng1)，但这当中存在着不低的误判风险，亦即，会被视为模糊缺陷(ambiguous defect)。
但如果经本申请实施例的AI训练模块150，对于误判风险较高的样本(如样本440或450)，进行图3A的分类流程的话，则可能可以将样本440或450的分类结果变成如图5A或图5B所示。
亦即，如图5A所示，样本440的分类信息为[0.5、0.3、0.1、0.1、0.0]，经过相似性度量后，所得到5个相似性距离分别为Δd1＝-9(a1)；Δd2＝1(a2)；Δd3＝5(a3)；Δd4＝3(a4)；Δd5＝5(a5)，其中，Δd1代表样本440的分类信息与OK理想分类信息之间的相似性距离；Δd2代表样本440的分类信息与ng1理想分类信息之间的相似性距离；Δd3代表样本440的分类信息与ng2理想分类信息之间的相似性距离；Δd4代表样本440的分类信息与ng3理想分类信息之间的相似性距离；以及，Δd5代表样本440的分类信息与ng4理想分类信息之间的相似性距离。
接着，进行权重分析，让相似度较高的分类信息得到较高的权重。将所有的相似性距离相加(Δd1+…Δd5)，并让个别相似性距离除以所有的相似性距离总和。得到下列值：Δd1/(Δd1+…Δd5)＝-9/5、Δd2/(Δd1+…Δd5)＝1/5、Δd3/(Δd1+…Δd5)＝5/5、Δd4/(Δd1+…Δd5)＝3/5与Δd5/(Δd1+…Δd5)＝5/5。之后，进行下列正规化计算(其用于举例说明，并非用于限制本申请)，以得到权重加强后的分类信息(w＝n-1＝5-1＝4)：
Figure BDA0001469471290000081
Figure BDA0001469471290000082
Figure BDA0001469471290000083
Figure BDA0001469471290000084
Figure BDA0001469471290000085
故而，由该样本440的正规化权重分析结果可看到，该样本440应该被判为OK，而且，此判定的误杀机率大为降低。
相似地，如图5B所示，样本450的分类信息为[0.3、0.3、0.1、0.2、0.1]，经过相似性度量后，所得到5个相似性距离分别为Δd1＝18；Δd2＝-42；Δd3＝18；Δd4＝18；Δd5＝18，其中，Δd1代表样本450的分类信息与OK理想分类信息之间的相似性距离；Δd2代表样本450的分类信息与ng1理想分类信息之间的相似性距离；Δd3代表样本450的分类信息与ng2理想分类信息之间的相似性距离；Δd4代表样本450的分类信息与ng3理想分类信息之间的相似性距离；以及，Δd5代表样本450的分类信息与ng4理想分类信息之间的相似性距离。
接着，进行权重分析，让相似度较高的分类信息得到较高的权重。将所有的相似性距离相加(Δd1+…Δd5)，并让个别相似性距离除以所有的相似性距离总和。得到下列值：Δd1/(Δd1+…Δd5)＝18/30、Δd2/(Δd1+…Δd5)＝-42/30、Δd3/(Δd1+…Δd5)＝18/30、Δd4/(Δd1+…Δd5)＝18/30与Δd5/(Δd1+…Δd5)＝18/30。之后，进行下列正规化计算(其用于举例说明，并非用于限制本申请)，以得到权重加强后的分类信息(w＝n-1＝5-1＝4)：
Figure BDA0001469471290000086
Figure BDA0001469471290000087
Figure BDA0001469471290000091
Figure BDA0001469471290000092
Figure BDA0001469471290000093
故而，由该样本450的正规化权重分析结果可看到，该样本450应该被判为ng1，而且，此判定的误杀机率大为降低。
比较图4A至图5B可看出，在本申请实施例中，对于较可能被误判的样本，经过核函数运算后，可以使得原本有模糊缺陷的分类信息，让其更为显著。
本申请实施例以机器学习(Machine Learning)为基础，可提升AOI设备检出率。本申请实施例可有效解决传统AOI设备无法有效检测瑕疵与无法高质量检查多样性产品的缺点。
本申请实施例应用以机器学习为基础的视觉检测应用，开发具有自我学习、仿人眼检查式与高通用性等优点的AOI检测及自主分类技术。
本申请实施例将机器视觉特征萃取技术结合最大熵卷积神经网络(MaximumEntropy Convolutional Neural Network，MECNN)技术，可以降低漏检率并提高误杀率，再从误杀的瑕疵中通过特征权重分析选出正常的样本，藉此进行递回式的深度学习(如图2中的步骤240的分类结果可以反馈至AI训练模块150，再次进行对AI训练模块150的训练)，来降低误杀率，达成低漏检率与低误杀率，及提升检出率。
本申请实施例中，所提出的深度学习的机器学习系统，可发展出能通过经验自动改进的AOI检测算法，用以优化传统机器视觉检测。本申请实施例可从少量训练数据建立出一个模型/函数，让大量的未训练待测物可以馈入这个模型/函数，进行递归分析或分类来预测结果。
此外，在本申请实施例中，在进行递归分析或分类时，深度神经网络(DNN，DeepNeural Networks)会对于训练样本的尺寸、颜色与位移角度容忍度不佳所造成的正确率低落问题，提出混合式抽样架构及假警报(false alarm)回馈机制来改善DNN技术。本申请实施例可利用固定训练物的特征模型，进行比对抽出训练样本主体与假警报样本回馈至DNN进行训练，用以降低工艺变异的非训练正常样本。
本申请实施例可突破传统AOI检测技术的困境，减少AOI检测机台设备的开发时间，并增加机台的广泛应用度。
此外，本申请实施例的AI训练模块150可以搭配现有AOI设备或AOI软件进行运作，也可以独立运作，增加使用时的弹性。
本申请实施例以DNN为基础，进行递回式深度学习机制，可以进行大量新数据的自动训练与分类。
本申请实施例使用权重特征，来分析深度学习后的离散结果，能对已知AOI设备不易分辨的模糊缺陷(ambiguous defect)进行有效分类，并将新的结果递回至AI训练模块，以增加AI训练模块的强健性，提升AOI设备的检出率。
此外，本申请实施例更提出于计算机可读介质中，当被自动光学检测图像分类系统载入时，自动光学检测图像分类系统可执行如图2、图3A、图3B、图5A或图5B的自动光学检测图像分类方法。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属领域技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视所附权利要求书界定范围为准。

Claims (7)

1.一种自动光学检测图像分类方法，包括：
将自动光学检查(Automated Optical Inspection，AOI)设备所传来的多个样本的多个失败(NG)信息送入人工智能训练模块内；
该人工智能训练模块对这些样本的这些失败信息进行离散输出，以得到对这些样本的多个分类信息；
该人工智能训练模块将这些样本的这些分类信息进行核函数运算，以计算这些样本的个别相似性距离并进行权重分析；
根据对这些样本的权重分析结果，进行正规化计算以进行分类结果判定，以判定这些样本的个别分类结果；以及
根据这些样本的个别分类结果，对这些样本进行分类；
其中，计算这些样本的个别相似性距离的该步骤包括：计算这些样本的多个分类信息与多个理想分类之间的多个相似性距离，
其中，进行权重分析的该步骤包括：对这些样本的这些相似性距离给予个别权重，其中，如果第一样本的第一相似性距离小于该第一样本的第二相似性距离，则该第一样本的该第一相似性距离的第一权重高于该第一样本的该第二相似性距离的第二权重。
2.如权利要求1所述的自动光学检测图像分类方法，其中，这些样本的这些分类结果反馈至该人工智能训练模块，用以训练该人工智能训练模块。
3.如权利要求1所述的自动光学检测图像分类方法，其中，进行分类的该步骤包括：由分类装置进行分类，该分类装置包括：气压缸、输送带、悬臂机构、机器手臂、载台的任意组合。
4.一种自动光学检测图像分类系统，包括
自动光学检查(Automated Optical Inspection，AOI)设备，对多个样本进行自动光学检查，以得到这些样本的个别成功信息或失败(NG)信息；以及
人工智能训练模块，耦接于该自动光学检查设备，该人工智能训练模块接收由该自动光学检查设备所传来的这些样本的这些失败信息，该人工智能训练模块对这些样本的这些失败信息进行离散输出，以得到对这些样本的多个分类信息，该人工智能训练模块将这些样本的这些分类信息进行核函数运算，以计算这些样本的个别相似性距离并进行权重分析，根据对这些样本的权重分析结果，进行正规化计算以进行分类结果判定，以判定这些样本的个别分类结果，其中，该人工智能训练模块计算这些样本的多个分类信息与多个理想分类之间的多个相似性距离，该人工智能训练模块对这些样本的这些相似性距离给予个别权重，如果第一样本的第一相似性距离小于该第一样本的第二相似性距离，则该第一样本的该第一相似性距离的第一权重高于该第一样本的该第二相似性距离的第二权重。
5.如权利要求4所述的自动光学检测图像分类系统，其中，该人工智能训练模块所得的这些样本的这些分类结果反馈至该人工智能训练模块，用以训练该人工智能训练模块。
6.如权利要求4所述的自动光学检测图像分类系统，其中，该人工智能训练模块所得的这些样本的这些分类结果由分类装置进行分类，
其中，该分类装置包括：气压缸、输送带、悬臂机构、机器手臂、载台的任意组合。
7.一种计算机可读记录介质，当载入于自动光学检测图像分类系统时，该自动光学检测图像分类系统可执行如权利要求1-3项其中的任一所述的自动光学检测图像分类方法。
CN201711131911.8A 2017-10-27 2017-11-15 自动光学检测图像分类方法、系统及计算机可读介质 Active CN109726730B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106137265 2017-10-27
TW106137265A TWI649659B (zh) 2017-10-27 2017-10-27 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體

Publications (2)

Publication Number Publication Date
CN109726730A CN109726730A (zh) 2019-05-07
CN109726730B true CN109726730B (zh) 2022-10-25

Family

ID=66213788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711131911.8A Active CN109726730B (zh) 2017-10-27 2017-11-15 自动光学检测图像分类方法、系统及计算机可读介质

Country Status (3)

Country Link
US (1) US10636133B2 (zh)
CN (1) CN109726730B (zh)
TW (1) TWI649659B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN112304952B (zh) * 2019-07-23 2024-04-02 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
CN112763506A (zh) * 2019-10-17 2021-05-07 智泰科技股份有限公司 兼具aoi及ai的瑕疵检测方法及其装置
CN114787878A (zh) 2019-11-12 2022-07-22 光明机器公司 用于制造测试的图像分析系统
US11321822B2 (en) 2020-07-30 2022-05-03 International Business Machines Corporation Determining image defects using image comparisons
CN112308138B (zh) * 2020-10-30 2024-04-09 中国平安财产保险股份有限公司 模型采样方法、装置、计算机设备及存储介质
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807254A (zh) * 2009-02-13 2010-08-18 烟台海岸带可持续发展研究所 面向数据特点的合成核支持向量机的实现方法
JP2014092909A (ja) * 2012-11-02 2014-05-19 Osaka City Univ 画像検索装置、画像検索方法及び画像検索プログラム
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US7046842B2 (en) * 1999-08-17 2006-05-16 National Instruments Corporation System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
TWI447575B (zh) 2005-01-21 2014-08-01 Photon Dynamics Inc 自動缺陷修復系統
US20080281548A1 (en) 2005-08-26 2008-11-13 Camtek Ltd Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines
US8131107B2 (en) * 2008-05-12 2012-03-06 General Electric Company Method and system for identifying defects in NDT image data
WO2010030794A1 (en) * 2008-09-10 2010-03-18 Digital Infuzion, Inc. Machine learning methods and systems for identifying patterns in data
CN101419671B (zh) * 2008-11-10 2011-05-18 北方工业大学 基于模糊支持向量机的人脸性别识别方法
CN101539930B (zh) * 2009-04-21 2011-06-15 武汉大学 一种相关反馈图像检索方法
CN101692224B (zh) * 2009-07-08 2011-08-17 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
US9527115B2 (en) 2010-03-13 2016-12-27 Carnegie Mellon University Computer vision and machine learning software for grading and sorting plants
US20130208978A1 (en) * 2010-10-19 2013-08-15 3M Innovative Properties Company Continuous charting of non-uniformity severity for detecting variability in web-based materials
TWI408037B (zh) 2010-12-03 2013-09-11 Ind Tech Res Inst 機械手臂的定位方法及校正方法
CN102739952B (zh) 2011-03-29 2015-06-03 财团法人工业技术研究院 多视角取像方法及其应用系统
CN102208038B (zh) * 2011-06-27 2012-12-26 清华大学 基于视觉词典的图像分类方法
CN102314614B (zh) * 2011-10-24 2013-06-05 北京大学 一种基于类共享多核学习的图像语义分类方法
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
CN103294716B (zh) * 2012-02-29 2016-08-10 佳能株式会社 用于分类器的在线半监督学习方法和装置及处理设备
US9607233B2 (en) 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9310316B2 (en) 2012-09-11 2016-04-12 Kla-Tencor Corp. Selecting parameters for defect detection methods
CN102999762B (zh) * 2012-10-25 2016-01-20 西安电子科技大学 基于Freeman分解和谱聚类的极化SAR图像分类方法
CN103177265B (zh) * 2013-03-25 2016-09-14 中山大学 基于核函数与稀疏编码的高清图像分类方法
CN103345645B (zh) * 2013-06-27 2016-09-28 复旦大学 面向网购平台的商品图像类别预测方法
TWI480508B (zh) 2013-09-16 2015-04-11 Ind Tech Res Inst 物體位置資訊的量測方法及裝置
TWI525317B (zh) 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US9349105B2 (en) * 2013-12-18 2016-05-24 International Business Machines Corporation Machine learning with incomplete data sets
TWI493153B (zh) 2014-04-08 2015-07-21 Ind Tech Res Inst 非接觸式物件空間資訊量測裝置與方法及取像路徑的計算方法
US9645097B2 (en) 2014-06-20 2017-05-09 Kla-Tencor Corporation In-line wafer edge inspection, wafer pre-alignment, and wafer cleaning
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
TWI517101B (zh) 2014-12-09 2016-01-11 財團法人工業技術研究院 三維掃描器校正系統及其校正方法
CN104670896A (zh) * 2015-02-05 2015-06-03 孙平 双线平行输送自动上下pcb板的aoi工位
CN105184298B (zh) * 2015-08-27 2018-10-19 重庆大学 一种快速局部约束低秩编码的图像分类方法
US10176588B2 (en) 2015-09-14 2019-01-08 Sightline Innovation Inc. System and method for specular surface inspection
CN105608690B (zh) * 2015-12-05 2018-06-08 陕西师范大学 一种基于图论和半监督学习相结合的图像分割方法
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
CN107527318B (zh) 2017-07-17 2021-06-04 复旦大学 一种基于生成对抗式网络模型的发型更换方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807254A (zh) * 2009-02-13 2010-08-18 烟台海岸带可持续发展研究所 面向数据特点的合成核支持向量机的实现方法
JP2014092909A (ja) * 2012-11-02 2014-05-19 Osaka City Univ 画像検索装置、画像検索方法及び画像検索プログラム
CN104318242A (zh) * 2014-10-08 2015-01-28 中国人民解放军空军工程大学 一种高效的svm主动半监督学习算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Weighted kernel function implementation for hyperspectral image classification based on Support Vector Machine;Soelaiman, R等;《Instrumentation, Communications, Information Technology, and Biomedical Engineering (ICICI-BME), 2009 International Conference on IEEE》;20091231;第1-7页 *

Also Published As

Publication number Publication date
CN109726730A (zh) 2019-05-07
US10636133B2 (en) 2020-04-28
TW201917598A (zh) 2019-05-01
US20190130555A1 (en) 2019-05-02
TWI649659B (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109726730B (zh) 自动光学检测图像分类方法、系统及计算机可读介质
KR101823746B1 (ko) 베어링 고장 진단 방법
EP3379491A1 (en) Surface defect detection
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN110648305B (zh) 工业图像检测方法、系统与计算机可读记录介质
KR20210087874A (ko) 시편의 기계 학습 기반 결함 검출
Thielen et al. A machine learning based approach to detect false calls in SMT manufacturing
EP3798924A1 (en) System and method for classifying manufactured products
CN115375614A (zh) 用于对通过制造过程制造的产品进行分类的系统和方法
KR20220022091A (ko) 검사 레시피의 자동 최적화
Chang et al. Wafer defect inspection by neural analysis of region features
CN112805719A (zh) 分类半导体样本中的缺陷
CN105631481B (zh) 基于遗传编程的铁谱磨粒复合特征构造方法
CN110910363A (zh) 基于机器视觉和深度学习的虚焊检测方法、系统及介质
JP7046760B2 (ja) 信号解析装置及び信号解析方法並びに信号解析プログラム
Heger et al. Using data mining techniques to investigate the correlation between surface cracks and flange lengths in deep drawn sheet metals
Vannucci et al. Thresholded neural networks for sensitive industrial classification tasks
Muravyov et al. Weld Defects Automatic Visual Recognition by Combined Application of Canny Edge Detector and Interval Fusion with Preference Aggregation
JP2020077158A (ja) 画像処理装置及び画像処理方法
Mansano et al. Inspection of metallic surfaces using local binary patterns
CN114757916A (zh) 基于特征提取和bp网络的工业ct图像缺陷分类方法
Cao et al. Tube defect detection algorithm under noisy environment using feature vector and neural networks
Onita et al. Quality control in porcelain industry based on computer vision techniques
Adachi et al. Detection and classification of painting defects using deep learning
JP2003076991A (ja) 自動検査装置及び方法並びに画像信号の処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant