CN111127571B - 一种小样本缺陷分类方法和装置 - Google Patents

一种小样本缺陷分类方法和装置 Download PDF

Info

Publication number
CN111127571B
CN111127571B CN201911218786.3A CN201911218786A CN111127571B CN 111127571 B CN111127571 B CN 111127571B CN 201911218786 A CN201911218786 A CN 201911218786A CN 111127571 B CN111127571 B CN 111127571B
Authority
CN
China
Prior art keywords
defect
sub
original image
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911218786.3A
Other languages
English (en)
Other versions
CN111127571A (zh
Inventor
刘杰
田继锋
谢馥励
邸顺然
张一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911218786.3A priority Critical patent/CN111127571B/zh
Publication of CN111127571A publication Critical patent/CN111127571A/zh
Priority to US17/275,800 priority patent/US11836967B2/en
Priority to PCT/CN2020/111213 priority patent/WO2021109627A1/zh
Application granted granted Critical
Publication of CN111127571B publication Critical patent/CN111127571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种小样本缺陷分类方法和装置。该方法包括：对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，分类结果包括缺陷类别和对应的类别概率；根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，能够降低缺陷识别的复杂度，从而提高了缺陷识别的准确度，克服了小样本情况下传统缺陷分类方法结果不稳定的问题。

Description

一种小样本缺陷分类方法和装置
技术领域
本发明涉及工业产品的缺陷检测技术领域，特别涉及一种小样本缺陷分类方法和装置。
背景技术
在精密产品的制造过程中，工艺的不稳定、机械定位精度不够高、以及厂房内的环境因素等经常会使生产出来的产品具有各种形态的缺陷(不良)。传统方法中，产品的缺陷检测一般通过人工检验来完成，人力需求大，劳动强度大，容易因疲劳造成检验质量的波动。随着技术条件的不断成熟，基于人工智能的产品自动缺陷分类方法正成为传统精密制造业向智能制造转变的重要一环。
然而，在产品的制造前期，不良样本(产品)通常很少，现有的分类算法也难以达到产线的要求，经常存在漏检的问题。
发明内容
鉴于现有技术缺陷检测样本少、存在漏检的问题，提出了本发明的一种小样本缺陷分类方法和装置，以便克服上述问题。
为了实现上述目的，本发明采用了如下技术方案：
依据本发明的一个方面，提供了一种小样本缺陷分类方法，该方法包括：
对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；
对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；
根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。
可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。
可选地，所述方法包括：
将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，将待测目标原图像按照主要部件和次要部件分割成各子图像；和/或，
确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像；和/或，
确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。
可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
将待测目标的原图像分割成分别包含不同部件的前景图像和背景图像。
可选地，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
利用训练样本训练Unet算法模型，通过训练后的Unet算法模型分割所述原图像；
所述对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，包括：
对应每个子图像以及原图像，分别训练得到对应的TADAM(Task dependentadaptive metric for improved few-shot learning)算法模型，使用对应的TADAM算法模型分别得到每个子图像的分类结果和原图像的分类结果。
可选地，该方法还包括：为不同的缺陷类别设置优先级；
所述根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别，包括：
当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；
当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。
可选地，所述当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别，包括：
在所有子图像和原图像的分类结果中，若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；
当缺陷类别属于同一优先级时，通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。
可选地，所述方法还包括：为每个部件设置一个或多个缺陷类别，不同部件的相同缺陷类别的优先级相同或不同。
可选地，该方法还包括：在对待测目标图像进行部件分离之前，对待测目标图像进行预处理，所述预处理包括图像尺寸变换和/或图像中目标朝向归一化。
依据本发明的另一个方面，提供了一种小样本缺陷分类装置，该装置包括：部件分离模块、分支分类模块和逻辑输出模块；
所述部件分离模块，用于对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；
所述分支分类模块，用于对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；
所述逻辑输出模块，用于根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。
可选地，所述逻辑输出模块，具体用于：
为不同的缺陷类别设置优先级；
当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；
当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别：若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；若缺陷类别属于同一优先级，则通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。
综上所述，本发明的有益效果是：
本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，能够降低缺陷识别的复杂度，从而提高了缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。
附图说明
图1为本发明一个实施例提供的一种小样本缺陷分类方法流程示意图；
图2为本发明一个实施例提供的一种待测目标原始图像分割为前景图像和背景图像的缺陷类别示意图；
图3为如图2所示待测目标的缺陷分类流程示意图；
图4为本发明一个实施例提供的一种小样本缺陷分类装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本发明的技术构思是：本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，能够降低缺陷识别的复杂度，从而提高了缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。
图1为本发明一个实施例提供的一种小样本缺陷分类方法流程示意图，该方法可以应用到精密加工制造行业的各类工件检测中。如图1所示，该小样本缺陷分类方法包括：
步骤S110：对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像。
申请人在识别缺陷类别的实践工作中发现，待测目标例如工件经常可以分离为主要部件和次要部件，工件的不良特征(如缺陷)经常和不同的部件相关，与主要部件相关的缺陷可以更准确、有效地反映所检查的工件的缺陷类别；因此，将工件进行部件分割后再进行缺陷分类，可以在小样本的情况下显著提升分类算法的性能。
步骤S120：对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，分类结果包括缺陷类别和对应的类别概率。
对分割后的各子图像进行分类算法分类，可以分部件地获取缺陷类别信息，分类更为准确。同时，为了进一步提高算法性能，本实施例中还对原始的完整原图像进行了分类，以尽可能全面获取待测目标的缺陷信息，实现对待测目标是否存在缺陷的综合、准确判断。
步骤S130：根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。至此，本实施例就完成了对待测目标多个部件子图像和完整原图像的分支分类过程，从而可以全面获取待测目标的缺陷信息，做出准确的缺陷判断。
通过上述实施例，本申请能够从待测目标的整体和各部件的角度触发，分别对缺陷类别进行分类识别，从而准确全面地获取待测目标的缺陷特征，由于分割后的各部件通常可以重点凸显出某一类或几类缺陷特征，从而，本申请可以在缺少不良样本的情况下，更加准确地识别出重要的缺陷类别，克服了现有技术自动化缺陷检测算法需要基于大数据、大模型才能准确识别待测目标(如工件)不良特征的问题，更加适用于工业产线的要求。
在本申请的一个实施例中，对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。
根据待测目标各部件功能的不同，其反映不良特征的能力也有大小之分，通过主要部件和次要部件的划分，可以更加准确地使用各部件进行对应缺陷的分类。在本申请的优选实施例中，通过将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，将待测目标原图像按照主要部件和次要部件分割成各子图像，主要部件和次要部件的划分，不一定需要将所有部件进行分割，主要部件和次要部件都可以包括一个或多个部件。
此外，由于待测目标的不良特征通常和不同的部件相关，因此，还可以按照位置将各部件进行分割，分别通过不同的部件分别进行缺陷分类。具体地，在优选实施例中，通过确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像。
再次，还可以根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。不同部件的表观特征，例如是颜色、纹理等在待测目标表面可识别的特征，在本申请的优选实施例中，通过确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。
当然，实际应用中可以依据待测目标图像的可分离性、不良类别的可拆分性以及算法的整体性能等方面综合考虑，以确定分离的部件的个数和具体的分离部件。
例如，在本申请的一个实施例中，对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，具体包括：将待测目标的原图像分割成前景图像和背景图像。
在本申请的一个实施例中，该方法还包括：为不同的缺陷类别设置优先级。则步骤S130中，根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别，包括：当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品。当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。
由于本申请的小样本缺陷分类方法具有多个分类分支，因此可能出现检测出多个缺陷的问题，为了确定最主要的缺陷问题，本实施例为缺陷类别设置了优先级，从而确定输出最重要的缺陷类别。
优选地，本实施例中为每个部件设置一个或多个缺陷类别，且不同部件可以存在相同的缺陷类别，不同部件的相同缺陷类别的优先级可以相同或不同。
在本申请的一个优选实施例中，当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别，包括：
在所有子图像和原图像的分类结果中，若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；当缺陷类别属于同一优先级时，通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。通过对缺陷类别优先级的使用以及类别概率的比较，就可以确定出最重要的缺陷类别，以检测工业产线和产品的问题，提高工业产品的质量。
参考图2和图3所示实施例，以工业制造中常见的点焊图像为待测目标，举例说明本申请小样本缺陷分类方法的工作原理。
工业制造常见的点焊图像中，由于焊盘和焊点能够通过“存在杂质”的缺陷特征体现焊接工艺问题，因此可以作为起主要作用的主要部件，从而将主要部件焊盘和焊点与次要部件铜线进行分割。此外，根据相对位置关系，铜线处于焊盘、焊点上方(即正面图像的前方)，因此也可以通过图像中前后位置关系实现图像分割。再次，铜线呈现红铜色，而焊盘和焊点呈现灰色，还可以通过颜色表观特征，将铜线和焊盘、焊点分割。
本实施例中，如图2所示，点焊原始图像被分割为前景(铜线)和背景(焊盘+焊点)两部分，并且铜线、焊盘和焊点两部件子图像分别设置有多种缺陷：部分不良(例如引线翘起、无引线、残线等)仅仅与铜线有关，因此，“引线翘起、无引线、残线”为铜线独有的缺陷类别；部分不良(如杂质、烫伤等)仅仅与焊盘和焊点相关，因此，“杂质、烫伤”为焊盘+焊点独有的缺陷类别；部分不良(锡球、裁断等)与铜线和焊盘、焊点都可能有关，因此，“锡球、裁断”为铜线、焊盘+焊点共同拥有的相同缺陷类别(见图2中类别序号12和14)。如图2所示，本实施例将点焊原始图像分割为前景(铜线)和背景(焊盘+焊点)两部分，通过将不同的缺陷类别拆分到不同的部件上，可以在小样本的情况下显著提升分类算法的性能。
具体地，本实施例的分割过程使用现有的Unet算法。Unet算法包括卷积部分(特征提取)和上采样部分，卷积部分随着卷积层数的增加产生的特征尺度逐渐减小；上采样部分用来将卷积部分产生的小尺度特征图还原到原始图像大小；而且卷积部分中每个池化(pooling)层前的激活值会拼接(concatenate)到对应的上采样层的激活值中。
本申请利用训练样本训练Unet算法模型，并通过训练后的Unet算法模型分割原图像。其中，训练样本是已经划分好前景部分和背景部分的图像，前景部分标注为白色像素，背景部分标注为黑色像素，以构成二值标签数据，通过训练样本和标签数据对Unet网络进行训练，以得到训练后的分割模型。当然，其他种类的图像分割算法也可应用于本申请中，在此不一一赘述。
如图2所示，分割后的前景和背景子图像分类检测中，NG代表检测结果存在不良，OK代表检测结果良好。NG和OK下方的数字表示缺陷类别序号，其中，00表示良品，即没有缺陷。
本实施例的算法整体框架如图3所示，优选地，该实施例中首先对待测目标原图像进行了预处理，预处理包括图像尺寸变换和/或图像中目标朝向归一化等，使图像的尺寸大小更加适合对应的分割算法模型，并保证图中工件的朝向一致，提高分割算法的准确性；再利用图像分割算法将原始图像分离为前景图像和背景图像；然后分别利用前景模型、背景模型对前景图像、背景图像进行分类；同时利用全图模型对全图进行分类，最后，将三个分类模型的输出结果进行综合决策，并输出对应的缺陷类别标号和类别概率。
本实施例中，各分支的分类模型均采用TADAM(Task dependent adaptive metricfor improved few-shot learning)算法模型。对应每个子图像以及原图像，分别训练得到对应的TADAM算法模型，使用对应的TADAM算法模型分别得到每个子图像的分类结果和原图像的分类结果。
如图3所示，分类算法的输出结果为OK(良品)或者不同的NG名称(缺陷类别)，以及对应的概率；然后由输出逻辑判断模块综合上述结果进行图像的最终类别判定。以本实施例为例，判断方式主要包括如下三种：
第一种：当所有子图像和原图像的分类结果均指示不存在缺陷时，即当背景分支、前景分支和全图分支均输出为OK时，输出逻辑判断模块输出OK，即表明点焊图像无缺陷。
第二种：当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，即当背景分支、前景分支和全图分支的其中一个输出为NG时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别。该第二种判断方式又分为如下两种情况：
情况一：若分类结果中缺陷类别属于不同优先级，即当有分支输出NG，且NG的缺陷类别属于不同优先级时，如果较高优先级只有一种则直接输出该NG缺陷类别。
情况二：若分类结果中缺陷类别属于同一优先级，即当有分支输出NG，且NG的缺陷类别属于同一优先级时，采用投票原则，得票多数者作为输出结果。若缺陷类别得票相同，则按照该缺陷类别对应的类别概率的数值，数值高的作为输出结果。
以本实施例点焊图像为例进行简单说明：在点焊图像缺陷判别中，杂质(由背景分支输出的判断结果)等缺陷可能是由工艺或者机械造成的，若不及时处理会造成更多产品出现缺陷；而引线翘起(由前景分支输出的判断结果)只是由单个产品造成的，属于意外现象，出现后准确夹出即可；因此，杂质缺陷的优先级高于引线翘起缺陷。若杂质和引线翘起两种缺陷同时出现在一个产品上时，需要输出为杂质缺陷，从而确定出最重要的缺陷类别。
本申请还公开了一种小样本缺陷分类装置，如图4所示，该装置包括：部件分离模块410、分支分类模块420和逻辑输出模块430。
部件分离模块410，用于对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像。
分支分类模块420，用于对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，分类结果包括缺陷类别和对应的类别概率。
逻辑输出模块430，用于根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别。
在本申请的一个优选实施例中，逻辑输出模块430，具体用于：为不同的缺陷类别设置优先级；当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别：若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；若缺陷类别属于同一优先级，则通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。
在本申请的一个优选实施例中，逻辑输出模块430为每个部件设置一个或多个缺陷类别，且不同部件的相同缺陷类别的优先级可以相同或不同。
在本申请的一个优选实施例中，部件分离模块410，具体用于：根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。
在本申请的一个实施例中，部件分离模块410具体可以用于：将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，从而将待测目标原图像按照主要部件和次要部件分割成各子图像；和/或，确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像；和/或，确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。
在本申请的一个实施例中，部件分离模块410具体还可以用于：将待测目标的原图像分割成分别包含不同部件的前景图像和背景图像，前景图像和背景图像即为分割后的子图像。
在本申请的一个实施例中，在选择对应的算法模型时，部件分离模块410选择使用Unet算法模型，利用训练样本训练Unet算法模型，通过训练后的Unet算法模型分割所述原图像；分支分类模块420选择使用TADAM算法模型，对应每个子图像以及原图像，分别训练得到对应的TADAM算法模型，使用对应的TADAM算法模型分别得到每个子图像的分类结果和原图像的分类结果。
在本申请的一个实施例中，该小样本缺陷分类装置还包括图像预处理模块，图像预处理模块用于：在对待测目标图像进行部件分离之前，对待测目标图像进行预处理，图像预处理包括图像尺寸变换和/或图像中目标朝向归一化，以使图像更好的适配算法模型。
本申请的小样本缺陷分类装置各模块具体实现方法和功能与上述小样本缺陷分类方法步骤相对应，在此不一一重复。
综上所述，本申请通过将待测目标进行部件分离，使用分离后的部件与待测目标本身作为多个分支分别进行缺陷分类，将不同的缺陷类别拆分到不同的部件上进行检测，能够降低缺陷识别的复杂度，在小样本的情况下可以显著提升分类算法的性能，从而提高缺陷识别的准确度，克服小样本情况下传统缺陷分类方法结果不稳定的问题。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种小样本缺陷分类方法，其特征在于，该方法包括：
对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；
对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；
根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别；
该方法还包括：为不同的缺陷类别设置优先级；
所述根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别，包括：
当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；
当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别；
所述优先级用以表征不同缺陷类别对待测目标的重要程度。
2.根据权利要求1所述的方法，其特征在于，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
根据不同部件的功能不同，将待测目标的原图像按照功能进行分割；和/或，根据不同部件的位置不同，将待测目标的原图像按照位置进行分割；和/或，根据不同部件的表观特征不同，将待测目标的原图像按照表观特征进行分割。
3.根据权利要求2所述的方法，其特征在于，所述方法包括：
将待测目标分离为由对目标功能起主要作用的主要部件和由对目标功能起次要作用的次要部件构成，将待测目标原图像按照主要部件和次要部件分割成各子图像；和/或，
确定不同部件的上下相对、左右相对、前后相对和边框与中央区域相对中的一种或多种位置关系，将待测目标原图像按照该位置关系分割成各子图像；和/或，
确定不同部件的颜色或纹理特征，将待测目标原图像按照颜色或纹理特征分割成各子图像。
4.根据权利要求1所述的方法，其特征在于，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
将待测目标的原图像分割成分别包含不同部件的前景图像和背景图像。
5.根据权利要求1所述的方法，其特征在于，所述对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像，包括：
利用训练样本训练Unet算法模型，通过训练后的Unet算法模型分割所述原图像；
所述对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，包括：
对应每个子图像以及原图像，分别训练得到对应的TADAM算法模型，使用对应的TADAM算法模型分别得到每个子图像的分类结果和原图像的分类结果。
6.根据权利要求1所述的方法，其特征在于，所述当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别，包括：
在所有子图像和原图像的分类结果中，若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；
当缺陷类别属于同一优先级时，通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：为每个部件设置一个或多个缺陷类别，不同部件的相同缺陷类别的优先级相同或不同。
8.根据权利要求1所述的方法，其特征在于，该方法还包括：在对待测目标图像进行部件分离之前，对待测目标图像进行预处理，所述预处理包括图像尺寸变换和/或图像中目标朝向归一化。
9.一种小样本缺陷分类装置，其特征在于，该装置包括：部件分离模块、分支分类模块和逻辑输出模块；
所述部件分离模块，用于对待测目标进行部件分离，按照分离后的部件将待测目标的原图像分割成至少两个包含有不同部件的子图像；
所述分支分类模块，用于对应每个子图像以及原图像，分别建立小样本分类模型，借助对应的分类模型，获得每个子图像的分类结果和原图像的分类结果，所述分类结果包括缺陷类别和对应的类别概率；
所述逻辑输出模块，用于根据所有子图像和原图像的分类结果，确定并输出待测目标的缺陷类别；
所述逻辑输出模块，具体用于：为不同的缺陷类别设置优先级；
当所有子图像和原图像的分类结果均指示不存在缺陷时，确定待测目标为良品；
当所有子图像和原图像的至少一个分类结果中指示存在缺陷时，根据各分类结果以及缺陷类别的优先级确定待测目标的缺陷类别；
所述优先级用以表征不同缺陷类别对待测目标的重要程度。
10.根据权利要求9所述的装置，其特征在于，所述逻辑输出模块，具体用于：
若缺陷类别属于不同优先级，则确定优先级最高的缺陷类别为输出结果；若缺陷类别属于同一优先级，则通过投票原则，确定得票最多的缺陷类别为输出结果，若同一优先级的缺陷类别得票相同，则继续比较缺陷类别对应的类别概率，确定类别概率高的缺陷类别为输出结果。
CN201911218786.3A 2019-12-03 2019-12-03 一种小样本缺陷分类方法和装置 Active CN111127571B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911218786.3A CN111127571B (zh) 2019-12-03 2019-12-03 一种小样本缺陷分类方法和装置
US17/275,800 US11836967B2 (en) 2019-12-03 2020-08-26 Method and device for small sample defect classification and computing equipment
PCT/CN2020/111213 WO2021109627A1 (zh) 2019-12-03 2020-08-26 一种小样本缺陷分类方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911218786.3A CN111127571B (zh) 2019-12-03 2019-12-03 一种小样本缺陷分类方法和装置

Publications (2)

Publication Number Publication Date
CN111127571A CN111127571A (zh) 2020-05-08
CN111127571B true CN111127571B (zh) 2023-12-29

Family

ID=70497327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911218786.3A Active CN111127571B (zh) 2019-12-03 2019-12-03 一种小样本缺陷分类方法和装置

Country Status (3)

Country Link
US (1) US11836967B2 (zh)
CN (1) CN111127571B (zh)
WO (1) WO2021109627A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置
CN113632099B (zh) * 2019-12-20 2024-06-28 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
CN111696108B (zh) * 2020-08-17 2021-07-09 广东利元亨智能装备股份有限公司 模型训练方法、焊点缺陷检测方法、装置及电子设备
CN112184665A (zh) * 2020-09-27 2021-01-05 苏州嘉展科技有限公司 一种应用于纸塑行业的人工智能缺陷侦测系统
CN112683916A (zh) * 2020-12-17 2021-04-20 华能新能源股份有限公司云南分公司 集电线路杆塔小金具缺失或安装错误的识别方法及装置
CN113610801B (zh) * 2021-08-05 2023-06-20 上海众壹云计算科技有限公司 基于最小单元的缺陷分类方法、装置、设备和存储介质
CN113658121B (zh) * 2021-08-09 2024-07-12 国能榆林能源有限责任公司 一种线路缺陷检测方法、系统及计算机存储介质
CN113538436A (zh) * 2021-09-17 2021-10-22 深圳市信润富联数字科技有限公司 零件缺陷的检测方法、装置、终端设备及存储介质
CN114882002A (zh) * 2022-05-31 2022-08-09 深圳市格灵精睿视觉有限公司 目标缺陷检测方法和检测装置、计算机设备、存储介质
CN117642622A (zh) * 2022-06-30 2024-03-01 宁德时代新能源科技股份有限公司 检测焊印的方法、装置和电子设备
CN116630753A (zh) * 2023-07-26 2023-08-22 南京航空航天大学 一种基于对比学习的多尺度小样本目标检测方法
CN118097315A (zh) * 2024-04-26 2024-05-28 中国科学技术大学 一种基于对比学习的小样本图像分类方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101992862A (zh) * 2010-10-22 2011-03-30 安徽中烟工业公司 卷烟包装卷制质量缺陷分类判定方法
CN104008550A (zh) * 2014-06-05 2014-08-27 深圳市大族激光科技股份有限公司 晶圆表面缺陷特征分析方法、系统、分类方法和系统
CN104458748A (zh) * 2013-09-25 2015-03-25 中国科学院沈阳自动化研究所 基于机器视觉的铝型材表面缺陷检测方法
CN106604193A (zh) * 2016-12-27 2017-04-26 上海斐讯数据通信技术有限公司 应用于受话器的缺陷检测方法及系统
CN106855520A (zh) * 2017-02-10 2017-06-16 南京航空航天大学 一种基于机器视觉的工件缺陷检测方法
CN107543828A (zh) * 2017-08-25 2018-01-05 广东工业大学 一种工件表面缺陷检测方法及系统
CN109102500A (zh) * 2018-08-03 2018-12-28 深圳凯达通光电科技有限公司 一种芯片封装缺陷的自动识别系统
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109580656A (zh) * 2018-12-24 2019-04-05 广东华中科技大学工业技术研究院 基于动态权重组合分类器的手机导光板缺陷检测方法及系统
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110163858A (zh) * 2019-05-27 2019-08-23 成都数之联科技有限公司 一种铝型材表面缺陷检测与分类方法及系统
CN110223269A (zh) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 一种fpc缺陷检测方法和装置
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4059429B2 (ja) * 2002-08-29 2008-03-12 大日本スクリーン製造株式会社 分類装置、歩留管理システム、分類方法、基板製造方法およびプログラム
JP4065893B1 (ja) 2006-12-04 2008-03-26 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
FI20115821A0 (fi) * 2011-08-24 2011-08-24 Syslore Oy Laite ja menetelmä kuljetusobjektissa olevien kiinnostusalueiden havaitsemiseen
US20130259374A1 (en) * 2012-03-29 2013-10-03 Lulu He Image segmentation
US10579042B2 (en) * 2018-07-02 2020-03-03 Hitachi, Ltd. Defect rate analytics to reduce defectiveness in manufacturing
CN109239102B (zh) 2018-08-21 2021-04-09 南京理工大学 一种基于cnn的柔性电路板外观缺陷检测方法
CN109584227A (zh) 2018-11-27 2019-04-05 山东大学 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
CN110530875A (zh) * 2019-08-29 2019-12-03 珠海博达创意科技有限公司 一种基于深度学习的fpcb外观缺陷自动检测算法
CN110517265B (zh) * 2019-09-04 2022-03-01 北京理工大学 一种产品表面缺陷的检测方法、装置及存储介质
CN111127571B (zh) * 2019-12-03 2023-12-29 歌尔股份有限公司 一种小样本缺陷分类方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101992862A (zh) * 2010-10-22 2011-03-30 安徽中烟工业公司 卷烟包装卷制质量缺陷分类判定方法
CN104458748A (zh) * 2013-09-25 2015-03-25 中国科学院沈阳自动化研究所 基于机器视觉的铝型材表面缺陷检测方法
CN104008550A (zh) * 2014-06-05 2014-08-27 深圳市大族激光科技股份有限公司 晶圆表面缺陷特征分析方法、系统、分类方法和系统
CN106604193A (zh) * 2016-12-27 2017-04-26 上海斐讯数据通信技术有限公司 应用于受话器的缺陷检测方法及系统
CN106855520A (zh) * 2017-02-10 2017-06-16 南京航空航天大学 一种基于机器视觉的工件缺陷检测方法
CN107543828A (zh) * 2017-08-25 2018-01-05 广东工业大学 一种工件表面缺陷检测方法及系统
CN109102500A (zh) * 2018-08-03 2018-12-28 深圳凯达通光电科技有限公司 一种芯片封装缺陷的自动识别系统
CN109583489A (zh) * 2018-11-22 2019-04-05 中国科学院自动化研究所 缺陷分类识别方法、装置、计算机设备和存储介质
CN109580656A (zh) * 2018-12-24 2019-04-05 广东华中科技大学工业技术研究院 基于动态权重组合分类器的手机导光板缺陷检测方法及系统
CN109829914A (zh) * 2019-02-26 2019-05-31 视睿（杭州）信息科技有限公司 检测产品缺陷的方法和装置
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110223269A (zh) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 一种fpc缺陷检测方法和装置
CN110163858A (zh) * 2019-05-27 2019-08-23 成都数之联科技有限公司 一种铝型材表面缺陷检测与分类方法及系统
CN110415214A (zh) * 2019-06-26 2019-11-05 北京迈格威科技有限公司 摄像头模组的外观检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20220309764A1 (en) 2022-09-29
WO2021109627A1 (zh) 2021-06-10
US11836967B2 (en) 2023-12-05
CN111127571A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127571B (zh) 一种小样本缺陷分类方法和装置
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
EP1703465B1 (en) Color-based inspection of printed circuit boards
JP4736764B2 (ja) 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
US20030050761A1 (en) Inspection method and its apparatus, inspection system
CN109685760B (zh) 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法
CN103972124B (zh) 图案化晶圆缺点检测系统及其方法
CN114529510B (zh) 一种阴极铜在线质量自动检测分类方法
CN111724375B (zh) 一种屏幕检测方法及系统
CN111275700A (zh) 基于深度学习的端子缺陷检测方法及系统
CN114372980A (zh) 一种工业缺陷检测方法及系统
CN114235837A (zh) 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备
CN113724218B (zh) 图像识别芯片焊接缺陷的方法、装置及存储介质
CN116678898B (zh) 一种通用化的晶片缺陷检测方法、系统、设备及介质
CN115511768A (zh) 一种晶圆缺陷诊断方法和诊断装置
CN114509446A (zh) 晶片缺角自动检测方法与晶片缺角自动检测系统
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN116228687A (zh) 基于深度学习的芯片封装体缺陷检测方法和装置
CN111474181A (zh) 一种成盒制程阶段的面板缺陷检测及分类系统
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
CN115908242B (zh) 一种多通道图像融合的芯片金线整线检测方法及系统
JP2006078285A (ja) 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP5464986B2 (ja) 良否判定装置、良否判定方法および良否判定プログラム
JPH10112469A (ja) ワイヤボンディング検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant