CN111179253B - 一种产品缺陷检测方法、装置与系统 - Google Patents

一种产品缺陷检测方法、装置与系统 Download PDF

Info

Publication number
CN111179253B
CN111179253B CN201911401998.5A CN201911401998A CN111179253B CN 111179253 B CN111179253 B CN 111179253B CN 201911401998 A CN201911401998 A CN 201911401998A CN 111179253 B CN111179253 B CN 111179253B
Authority
CN
China
Prior art keywords
network
defect
image
segmentation
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911401998.5A
Other languages
English (en)
Other versions
CN111179253A (zh
Inventor
刘杰
田继锋
张文超
张一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911401998.5A priority Critical patent/CN111179253B/zh
Publication of CN111179253A publication Critical patent/CN111179253A/zh
Priority to US17/250,262 priority patent/US11295435B2/en
Priority to PCT/CN2020/112313 priority patent/WO2021135331A1/zh
Application granted granted Critical
Publication of CN111179253B publication Critical patent/CN111179253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开一种产品缺陷检测方法、装置与系统。本发明实施例的方法包括：构建缺陷检测框架，缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置分割网络的数量，每个分割网络对应一种缺陷类型；利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络；利用拼接网络将样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；利用拼接图像对分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络；在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型。

Description

一种产品缺陷检测方法、装置与系统
技术领域
本发明涉及一种产品缺陷检测方法、装置与系统。
背景技术
在传统的精密制造行业，产品的缺陷检测一般通过人工检验来完成。在一般的制造工厂中，检验人力占比将近30％，由于人力需求大，经常出现人力资源紧张的局面；而且人力检验的劳动强度大，容易因作业员疲劳而造成检验质量的波动。因此，检验质量稳定、效果一致、不受人为因素影响的机器自动化检测方案必将受到精密制造行业的青睐。
发明内容
本发明的目的在于提供了一种产品缺陷检测方法、装置与系统。
一方面，本发明实施例提供了一种产品缺陷检测方法，包括：
构建缺陷检测框架，缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置所述分割网络的数量，每个分割网络对应一种缺陷类型；
利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络；
利用拼接网络将样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；
利用拼接图像对分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络；
在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型。
另一方面，本发明实施例提供了一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置所述分割网络的数量，每个分割网络对应一种缺陷类型；利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络；利用拼接网络将样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；利用拼接图像对分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型。
再一方面，本发明实施例提供了一种产品缺陷检测系统，包括：存储器和处理器；存储器，存储计算机可执行指令；处理器，计算机可执行指令在被执行时使处理器执行产品缺陷检测方法。
又一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被执行时实现产品缺陷检测方法。
本发明实施例至少取得以下技术效果：针对产品检验环节，不良产品成像的图像中经常会出现多种缺陷，基于机器学习的自动化缺陷检测算法可以对包括多种缺陷的不良产品图像进行缺陷检测，但算法的规模较大，需要大数据量的样本图像对大规模算法进行训练，这种缺陷检测方法难以满足产线上不良产品较少的情况。本实施例利用多个分割网络、一个拼接网络和一个分类网络构建产品缺陷检测框架，利用小样本图像即可训练出能够准确定位一种缺陷类型所在位置的分割网络，然后利用拼接网络将得到的样本图像与每种缺陷所在的分割网络进行拼接，利用少量拼接图像即可训练具有良好分类能力的小规模分类网络。这样在对产品图像进行缺陷检测时，先通过训练好的分割网络得到掩码图像，利用掩码图像突显出各类缺陷可能存在的图像区域，然后将掩码图像和产品图像拼接，使训练好的分类网络更容易识别出缺陷，提高了缺陷类型识别的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例示出的产品缺陷检测系统的硬件配置的框图；
图2为本发明实施例示出的产品缺陷检测方法流程图；
图3为本发明实施例示出的一种缺陷检测框架的示意图；
图4为本发明实施例示出的一种分类网络示意图；
图5为本发明实施例示出的分类网络中卷积层的结构示意图；
图6为本发明实施例示出的产品缺陷检测装置的结构框图；
图7为本发明实施例示出的产品缺陷检测系统的结构框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施例一>
图1是根据本发明实施例的产品缺陷检测系统100的硬件配置的框图。
如图1所示，产品缺陷检测系统100包括图像采集装置1000和产品缺陷检测装置2000。
图像采集装置1000用于采集产品图像，并将采集到的产品图像提供至产品缺陷检测装置2000。
该图像采集装置1000可以是能够进行拍照的任意成像设备，例如摄像头等。
产品缺陷检测装置2000可以是任意的电子设备，例如PC机、笔记本电脑、服务器等。
在本实施例中，参照图1所示，产品缺陷检测装置2000可以包括处理器2100、存储器2200、接口装置2300、通信装置2400、显示装置2500、输入装置2600、扬声器2700、麦克风2800等等。
处理器2100可以是移动版处理器。存储器2200例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置2300例如包括USB接口、耳机接口等。通信装置2400例如能够进行有线或无线通信，通信装置2400可以包括短距离通信装置，例如是基于Hilink协议、WiFi(IEEE 802.11协议)、Mesh、蓝牙、ZigBee、Thread、Z-Wave、NFC、UWB、LiFi等短距离无线通信协议进行短距离无线通信的任意装置，通信装置2400也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置2500例如是液晶显示屏、触摸显示屏等，显示装置2500用于显示图像采集装置1000采集的产品图像。输入装置2600例如可以包括触摸屏、键盘等。用户可以通过扬声器2700和麦克风2800输入/输出语音信息。
在该实施例中，产品缺陷检测装置2000的存储器2200用于存储指令，该指令用于控制处理器2100进行操作以至少执行根据本发明任意实施例的产品缺陷检测方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
尽管在图1中示出了产品缺陷检测装置2000的多个装置，但是，本发明可以仅涉及其中的部分装置，例如，产品缺陷检测装置2000只涉及存储器2200、处理器2100和显示装置2500。
在本实施例中，图像采集装置1000用于采集产品图像提供至产品缺陷检测装置2000，产品缺陷检测装置2000则基于该图像实施根据本发明任意实施例的产品缺陷检测方法。
应当理解的是，尽管图1仅示出一个图像采集装置1000和一个产品缺陷检测装置2000，但不意味着限制各自的数量，产品缺陷检测系统100中可以包含多个图像采集装置1000和/或产品缺陷检测装置2000。
<实施例二>
在产品制造过程中，工艺的不稳定、机械定位精度不够高以及厂房内的环境等因素经常会使生产出来的产品具有各种形态的缺陷或不良。在产品制造的前期，不良样本经常很少，基于大数据、大模型的分类算法很难实现产线的要求。
针对上述小样本问题，本申请实施例首先利用图像分割算法预测图像中可能存在的缺陷及其位置，并生成对应的掩码(mask)图像，然后将原始图像与掩码图像进行拼接，并输入分类器，以实现对不同缺陷的分类。
图2为本发明实施例示出的产品缺陷检测方法流程图，如图2所示，本实施例的方法包括：
S2100，构建缺陷检测框架，缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置分割网络的数量，每个分割网络对应一种缺陷类型。
本实施例中，如图3所示，分割网络、拼接网络和分类网络依次串联连接。
其中，根据产品缺陷类型设置分割网络的数量可以理解为：根据适宜用分割算法进行分割定位的产品缺陷类型设置分割网络的数量。
假定产品共有m种缺陷，其中n(n≤m，m与n均为自然数)种缺陷可以利用分割算法对缺陷进行分割定位，m-n种缺陷不适宜用分割算法进行分割定位，因此，本实施例中设置分割网络的数量为n，这n个分割网络可以采用相同的分割算法实现，n个分割网络构成并行结构，每个分割网络对应定位m中缺陷中的一种缺陷。
S2200，利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络。
本实施例采集产线前期生产的不良产品的图像，将图像中适宜用分割算法对缺陷进行定位的不良产品图像筛选出来作为用于训练分割网络的样本图像。
在一些实施例中，掩码图像为这样的二值图像：该二值图像中缺陷所在区域的像素值为第一数值(例如像素灰度值为255，归一化后像素灰度值为1)，其他区域的像素值为第二数值(例如像素灰度值为0)。或者，掩码图像为这样的灰度图像：该灰度图像中缺陷所在区域的像素值为样本图像中该区域的像素值，其他区域的像素值为第二数值(0值)的。其他区域为二值图像中除缺陷所在区域之外的区域，即其他区域为二值图像中非缺陷所在的区域。
S2300，利用拼接网络将样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像。
本实施例将每幅样本图像，及将利用多个分割网络对该幅样本图像进行分割处理后得到的多个掩码图像进行通道级拼接，保持样本图像与掩码图像的尺寸不变，将样本图像的通道逐一与每个掩码图像的通道进行拼接，使得拼接图像的通道数量为样本图像的通道数量与全部掩码图像的通道数量的和。
假设样本图像的像素尺寸为512*512，通道数量为三，该样本图像对应有i个掩码图像，每个掩码图像像素尺寸为512*512，每个掩码图像的通道数量为一，i个掩码图像共有i个通道，将样本图像与i个掩码图像进行通道级拼接，得到像素尺寸为512*512、通道数量为3+i的拼接图像。
S2400，利用拼接图像对分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络。
本实施例中的分类网络采用具有较浅残差(resnet)的网络，这样利用小样本即可训练得到具有良好分类能力的分类网络。
S2500，在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型。
针对产品检验环节，不良产品成像的图像中经常会出现多种缺陷，基于机器学习的自动化缺陷检测算法可以对包括多种缺陷的不良产品图像进行缺陷检测，但算法的规模较大，需要大数据量的样本图像对大规模算法进行训练，这种缺陷检测方法难以满足产线上不良产品较少的情况。本实施例利用多个分割网络、一个拼接网络和一个分类网络构建产品缺陷检测框架，利用小样本图像即可训练出能够准确定位一种缺陷类型所在位置的分割网络，然后利用拼接网络将得到的样本图像与每种缺陷所在的分割网络进行拼接，利用少量拼接图像即可训练具有良好分类能力的小规模分类网络。这样在对产品图像进行缺陷检测时，先通过训练好的分割网络得到掩码图像，利用掩码图像突显出各类缺陷可能存在的图像区域，然后将掩码图像和产品图像拼接，使训练好的分类网络更容易识别出缺陷，提高了缺陷类型识别的准确度。
<实施例三>
本申请实施例还提供了一种产品缺陷检测方法。在本实施例中，上述步骤S2200中利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练包括S2210～S2220：
S2210，将多个包含不同缺陷类型的样本图像分别输入至多个分割网络。
本实施例中，一幅样本图像中可以包含n种缺陷类型，也可以包含小于n的缺陷类型，每幅样本图像所包含的缺陷类型可能相同也可能不同。
参考图3，图3示出了将包含n种缺陷的样本图像输入到n个分割网络，该n种缺陷都是可以利用分割算法进行分割定位的缺陷，每个分割网络输出一幅定位缺陷所在位置的掩码图像，即图3示出的掩码图像mask_1、mask_2、…mask_n。
S2220，利用由多个分割网络组成的并行结构对样本图像中每种缺陷进行分割处理，得到能够定位每种缺陷所在位置的掩码图像。
在一些实施例中，每个分割网络可以采用Unet(Unity Networking)算法，Unet算法包括卷积部分和上采样部分，卷积部分随着卷积层数的增加产生的特征尺度逐渐减小，上采样部分用来将卷积部分产生的小尺度特征图还原到原始图像大小。
在对分割网络进行训练时，先根据可分割缺陷类型的数量n，标注n类缺陷。例如，将样本图像中缺陷对应的部分标注为白色像素、非缺陷对应的部分标注为黑色像素，以构成二值标签数据。然后利用样本图像和标签数据对Unet网络进行训练，得到训练后的n个分割网络。即利用每个分割网络的卷积部分对样本图像进行特征提取与降维处理，得到关联一种缺陷类型的
特征图像，利用每个分割网络的上采样部分对特征图像进行升维处理，得到样本图像中一种缺陷所在位置的掩码图像。
在一些实施例中，为增强分割网络对小面积缺陷的分割能力，本实施例根据产品缺陷的形态特征，例如根据缺陷所在图像区域的面积特征设置样本图像的尺寸为第一预设尺寸(例如512*512像素)，利用具有第一预设尺寸的样本图像对分割网络进行训练，分割网络输出的掩码图像具有第一预设尺寸。
相应的，为了提高分类网络的分类性能，例如提高分类网络的快速分类能力，在一些实施例中，还设置样本图像与掩码图像的尺寸为第二预设尺寸(例如为256*256像素)，将具有第二预设尺寸的样本图像与具有第二预设尺寸的掩码图像进行拼接；其中第一预设尺寸大于第二预设尺寸。
由此，本实施例通过步骤S2210～S2220既可以达到利用小样本训练得到能够正确定位每种缺陷所在位置的分割网络。
<实施例四>
本申请实施例还提供了一种产品缺陷检测方法。在本实施例中，上述步骤S2300中利用拼接图像对分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络，进一步包括S2310：
S2310，构建分类网络包括用于特征提取的残差单元(res unit)残差单元中包括卷积层、用于将特征图尺寸调小的池化层(max pooling)、用于将多维度特征图降维为行向量的平推层(flatten)、用于将行向量调整为列向量的全连接层(fc)和用于逻辑判断的逻辑回归层(softmax)。其中，设置预定数量的串行连接的残差单元，每个残差单元后连接池化层，最后一个残差单元连接的池化层为全局均值池化层；设置平推层的输入连接全局均值池化层的输出；设置全连接层的输入连接平推层的输出；以及设置逻辑回归层的输入连接全连接层的输出。
由于缺陷产品的样本数可能较少，本实施例的分类网络采用如图4所示的具有较浅残差的resnet(Residual Network)网络，该resnet网络在几十张训练图像的情况下，可以得到较高的分类性能。
如图4所示，本实施例的分类网络包括四个串行连接的res unit，当然也可以设置分类网络包括三个或五个串行连接的res unit。一般的，res unit的个数少于6个。
第一个res unit中卷积层的卷积核个数为64，以后每个res unit中卷积层的卷积核个数按2倍递增；每经过一个max pooling，特征图的长度和宽带分别减半，其中最后一个池化层为avg pooling；最后通过fc和softmax输出分类结果。
在一些实施例中，分类网络训练的损失函数采用交叉熵加L2正则化项，网络的初始学习率、优化器等参数的设置可以根据需求确定。
其中，在构建分类网络设置的res unit，如图5所示，每个res unit包括第一路径和第二路径；
设置第二路径包括一个卷积核conv，该conv为1*1卷积核；以及设置第一路径包括串行的三个conv，第一路径中conv_1的输出连接第一激活函数relu_1，relu_1的输出连接conv_2，conv_2的输出连接relu_2，relu_2的输出连接conv_3，conv_2的输出与第二路径中的conv输出相叠加后连接relu_3；其中，conv_1、conv_2与conv_3均为3*3卷积核。最后设置relu_3连接与该res unit相应的max pooling连接。
由此，本实施例通过步骤S2310既可以达到利用小样本训练得到能够正确识别出产品缺陷与缺陷类型的分类网络。
<实施例五>
本实施例还提供一种产品缺陷检测装置。图6为本发明实施例示出的产品缺陷检测装置的结构框图，如图6所示，本实施例的装置包括：
预处理单元6100，用于构建缺陷检测框架，缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置分割网络的数量，每个分割网络对应一种缺陷类型；利用包含不同缺陷类型的产品的样本图像分别对分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络；利用拼接网络将样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；利用拼接图像对所述分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络。
缺陷检测单元6200，用于在进行产品缺陷检测时，将采集到的产品图像输入缺陷检测框架，利用分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型。
在一些实施例中，预处理单元6100包括第一训练模块，第一训练模块将多个包含不同缺陷类型的样本图像分别输入至多个分割网络；利用由多个分割网络组成的并行结构对样本图像中每种缺陷进行分割处理，得到能够定位每种缺陷所在位置的掩码图像。
第一训练模块具体是利用每个分割网络的卷积部分对样本图像进行特征提取与降维处理，得到关联一种缺陷类型的特征图像；利用每个分割网络的上采样部分对特征图像进行升维处理，得到样本图像中一种缺陷所在位置的掩码图像。
在一些实施例中，预处理单元6100包括图像处理模块，图像处理模块根据产品缺陷的形态特征设置样本图像的尺寸为第一预设尺寸，利用具有第一预设尺寸的样本图像对所述分割网络进行训练，分割网络输出的掩码图像具有第一预设尺寸；以及根据分类网络的分类性能设置样本图像与掩码图像的尺寸为第二预设尺寸，将具有第二预设尺寸的样本图像与具有第二预设尺寸的掩码图像进行拼接；其中第一预设尺寸大于第二预设尺寸。
在一些实施例中，预处理单元6100还用于保持样本图像与掩码图像的尺寸不变，将样本图像的通道逐一与每个掩码图像的通道进行拼接，使得拼接图像的通道数量为样本图像的通道数量与全部掩码图像的通道数量的和。
本发明装置实施例中各模块的具体实现方式可以参见本发明方法实施例中的相关内容，在此不再赘述。
<实施例六>
图7为本发明实施例示出的产品缺陷检测系统的结构框图，如图7所示，在硬件层面，该虚拟现实系统包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成产品缺陷检测装置。处理器，执行存储器所存放的程序实现如上文描述的产品缺陷检测方法。
上述如本说明书图7所示实施例揭示的产品缺陷检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的产品缺陷检测方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述产品缺陷检测方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被处理器执行时，能够实现上文描述的产品缺陷检测方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种产品缺陷检测方法，其特征在于，包括：
构建缺陷检测框架，所述缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置所述分割网络的数量，每个分割网络对应一种缺陷类型，所述分类网络采用具有较浅残差的resnet网络；
利用包含不同缺陷类型的产品的样本图像分别对所述分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络，所述掩码图像与所述样本图像的像素尺寸相同；
利用所述拼接网络将所述样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；
利用所述拼接图像对所述分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络；
在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型；
所述利用包含不同缺陷类型的产品的样本图像分别对所述分割网络进行训练，包括：
将多个包含不同缺陷类型的样本图像分别输入至多个分割网络；
利用由多个分割网络组成的并行结构对所述样本图像中每种缺陷进行分割处理，得到能够定位每种缺陷所在位置的掩码图像。
2.根据权利要求1所述的方法，其特征在于，所述利用由多个分割网络组成的并行结构对所述样本图像中每种缺陷进行分割处理，得到能够定位每种缺陷所在位置的掩码图像，包括：
利用每个分割网络的卷积部分对所述样本图像进行特征提取与降维处理，得到关联一种缺陷类型的特征图像；
利用每个分割网络的上采样部分对所述特征图像进行升维处理，得到所述样本图像中一种缺陷所在位置的所述掩码图像。
3.根据权利要求1所述的方法，其特征在于，利用包含不同缺陷类型的产品的样本图像分别对所述分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络，还包括：
根据所述产品缺陷的形态特征设置所述样本图像的尺寸为第一预设尺寸，利用具有第一预设尺寸的所述样本图像对所述分割网络进行训练，所述分割网络输出的所述掩码图像具有第一预设尺寸；
利用所述拼接网络将所述样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像，包括：
根据所述分类网络的分类性能设置所述样本图像与所述掩码图像的尺寸为第二预设尺寸，将具有第二预设尺寸的样本图像与具有第二预设尺寸的掩码图像进行拼接；其中所述第一预设尺寸大于第二预设尺寸。
4.根据权利要求1所述的方法，其特征在于，所述利用所述拼接网络将所述样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像，包括：
保持所述样本图像与所述掩码图像的尺寸不变，将所述样本图像的通道逐一与每个掩码图像的通道进行拼接，使得拼接图像的通道数量为所述样本图像的通道数量与全部掩码图像的通道数量的和。
5.根据权利要求1所述的方法，其特征在于，所述分类网络的构建方法包括：
构建所述分类网络包括用于特征提取的残差单元、用于将特征图尺寸调小的池化层、用于将多维度特征图降维为行向量的平推层、用于将行向量调整为列向量的全连接层和用于逻辑判断的逻辑回归层；
其中，设置预定数量的串行连接的残差单元，每个残差单元后连接池化层，最后一个残差单元连接的池化层为全局均值池化层；设置平推层的输入连接所述全局均值池化层的输出；设置全连接层的输入连接所述平推层的输出；以及设置逻辑回归层的输入连接所述全连接层的输出。
6.根据权利要求5所述的方法，其特征在于，所述设置预定数量的串行连接的残差单元，包括：
设置每个卷积层包括第一路径和第二路径；
设置第二路径包括一个卷积核，以及设置第一路径包括串行的三个卷积核，第一路径中第一个卷积核的输出连接第一激活函数，第一激活函数的输出连接第二个卷积核，第二个卷积核的输出连接第二激活函数，第二激活函数的输出连接第三个卷积核，第三个卷积核的输出与所述第二路径中的卷积核的输出相叠加后连接第三激活函数；
设置第三激活函数与该残差单元相应的池化层连接。
7.根据权利要求1所述的方法，其特征在于，所述掩码图像为缺陷所在区域的像素值为第一数值，其他区域的像素值为第二数值的二值图像；
或者，所述掩码图像为缺陷所在区域的像素值为所述样本图像中该区域的像素值，其他区域的像素值为第二数值的灰度图像。
8.一种产品缺陷检测装置，包括：
预处理单元，用于构建缺陷检测框架，所述缺陷检测框架包括分割网络、拼接网络和分类网络，并根据产品缺陷类型设置所述分割网络的数量，每个分割网络对应一种缺陷类型，所述分类网络采用具有较浅残差的resnet网络；利用包含不同缺陷类型的产品的样本图像分别对所述分割网络进行训练，得到能够定位每种缺陷所在位置的掩码图像的分割网络，所述掩码图像与所述样本图像的像素尺寸相同；利用所述拼接网络将所述样本图像与每个分割网络输出的掩码图像进行拼接，得到拼接图像；利用所述拼接图像对所述分类网络进行训练，得到能够正确识别出产品缺陷与缺陷类型的分类网络；
缺陷检测单元，用于在进行产品缺陷检测时，将采集到的产品图像输入所述缺陷检测框架，利用所述分割网络、拼接网络和分类网络，检测出产品中存在的缺陷及缺陷类型；
其中所述预处理单元包括第一训练模块，第一训练模块将多个包含不同缺陷类型的样本图像分别输入至多个分割网络；利用由多个分割网络组成的并行结构对所述样本图像中每种缺陷进行分割处理，得到能够定位每种缺陷所在位置的掩码图像。
9.一种产品缺陷检测系统，其特征在于，包括：存储器和处理器；
所述存储器，存储计算机可执行指令；
所述处理器，所述计算机可执行指令在被执行时使所述处理器执行如权利要求1-7任一项所述的产品缺陷检测方法。
CN201911401998.5A 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统 Active CN111179253B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911401998.5A CN111179253B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统
US17/250,262 US11295435B2 (en) 2019-12-30 2020-08-29 Product defect detection method, device and system
PCT/CN2020/112313 WO2021135331A1 (zh) 2019-12-30 2020-08-29 一种产品缺陷检测方法、装置与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911401998.5A CN111179253B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统

Publications (2)

Publication Number Publication Date
CN111179253A CN111179253A (zh) 2020-05-19
CN111179253B true CN111179253B (zh) 2023-11-24

Family

ID=70658472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911401998.5A Active CN111179253B (zh) 2019-12-30 2019-12-30 一种产品缺陷检测方法、装置与系统

Country Status (3)

Country Link
US (1) US11295435B2 (zh)
CN (1) CN111179253B (zh)
WO (1) WO2021135331A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179253B (zh) 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
CN111044525B (zh) * 2019-12-30 2021-10-29 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统
US11507831B2 (en) * 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
CN112001841A (zh) * 2020-07-14 2020-11-27 歌尔股份有限公司 图像待检测区域提取方法、装置和产品缺陷检测系统
CN111951189B (zh) * 2020-08-13 2022-05-06 神思电子技术股份有限公司 一种多尺度纹理随机化的数据增强方法
CN112686833B (zh) * 2020-08-22 2023-06-06 安徽大学 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置
CN112288723B (zh) * 2020-10-30 2023-05-23 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112508846B (zh) * 2020-10-30 2023-04-18 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质
CN112634209A (zh) * 2020-12-09 2021-04-09 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN113269720B (zh) * 2021-04-16 2024-02-02 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113674203A (zh) * 2021-07-14 2021-11-19 歌尔股份有限公司 缺陷检测模型训练方法、装置和缺陷检测方法、装置
CN114308702A (zh) * 2021-12-31 2022-04-12 宁波智能制造技术研究院有限公司 一种高性能注塑件的自动分类综合智能检测方法
CN114494867A (zh) * 2022-01-19 2022-05-13 湖北工业大学 一种改进AlexNet网络的绝缘子快速分类识别方法
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114820521B (zh) * 2022-04-27 2023-04-07 电子科技大学 一种显示屏复杂画面的缺陷检测方法
CN114612468B (zh) * 2022-05-09 2022-07-15 西南交通大学 一种基于正样本的设备外部缺陷检测方法
CN114972952B (zh) * 2022-05-29 2024-03-22 重庆科技学院 一种基于模型轻量化的工业零部件缺陷识别方法
CN114972268A (zh) * 2022-05-31 2022-08-30 上海高德威智能交通系统有限公司 一种缺陷图像的生成方法、装置、电子设备及存储介质
CN114972269B (zh) * 2022-05-31 2024-09-06 华中科技大学 一种基于铸件x射线图像的缺陷分割定位方法及系统
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN114862845B (zh) * 2022-07-04 2022-09-06 深圳市瑞桔电子有限公司 手机触摸屏的缺陷检测方法、装置、设备及存储介质
CN115829912A (zh) * 2022-07-29 2023-03-21 宁德时代新能源科技股份有限公司 检测电芯表面缺陷的方法和装置
CN115457044B (zh) * 2022-08-12 2023-04-28 西南交通大学 基于类激活映射的路面裂缝分割方法
CN115272310B (zh) * 2022-09-26 2023-01-03 江苏智云天工科技有限公司 工件的缺陷检测方法及装置
CN115859074B (zh) * 2022-10-27 2023-10-20 大连理工大学 一种基于超声导波和深度学习的复合材料加筋板损伤识别方法
CN115564773B (zh) * 2022-11-18 2023-04-18 南方电网数字电网研究院有限公司 基于元学习的小样本图像缺陷检测方法、装置和设备
CN115963397B (zh) * 2022-12-01 2023-07-25 华中科技大学 一种电机定子内轮廓表面缺陷快速在线检测方法及装置
CN115937147B (zh) * 2022-12-09 2023-09-26 北京小米移动软件有限公司 缺陷检测参数的确定方法、装置、设备及存储介质
CN115880290B (zh) * 2023-02-22 2023-05-30 季华实验室 基于轻量化语义分割网络的oled湿膜缺陷检测方法
CN116759330A (zh) * 2023-04-07 2023-09-15 上海感图网络科技有限公司 数据处理方法、设备及存储介质
CN116433659B (zh) * 2023-06-09 2023-08-29 山东高速工程检测有限公司 一种三段式道路缺陷图像处理方法
CN116664586B (zh) * 2023-08-02 2023-10-03 长沙韶光芯材科技有限公司 一种基于多模态特征融合的玻璃缺陷检测方法及系统
CN116843691B (zh) * 2023-09-01 2024-01-26 尚特杰电力科技有限公司 光伏板热斑检测方法及存储介质、电子设备
CN116883416B (zh) * 2023-09-08 2023-11-24 腾讯科技（深圳）有限公司 工业产品缺陷的检测方法、装置、设备及介质
CN116977905B (zh) * 2023-09-22 2024-01-30 杭州爱芯元智科技有限公司 目标跟踪方法、装置、电子设备及存储介质
CN117237336B (zh) * 2023-11-10 2024-02-23 湖南科技大学 一种金属化陶瓷环缺陷检测方法、系统和可读存储介质
CN117333487B (zh) * 2023-12-01 2024-03-29 深圳市宗匠科技有限公司 一种痘痘分级方法、装置、设备及存储介质
CN117437221B (zh) * 2023-12-18 2024-04-26 浙江祥晋汽车零部件股份有限公司 一种基于图像检测的亮饰条检测方法及系统
CN117576109B (zh) * 2024-01-19 2024-04-02 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
CN109117822A (zh) * 2018-08-31 2019-01-01 贵州大学 一种基于深度学习的零件实例分割识别方法
CN109344736A (zh) * 2018-09-12 2019-02-15 苏州大学 一种基于联合学习的静态图像人群计数方法
CN110033481A (zh) * 2018-01-10 2019-07-19 北京三星通信技术研究有限公司 用于进行图像处理的方法和设备
CN110223269A (zh) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 一种fpc缺陷检测方法和装置
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987094A (en) * 1996-10-30 1999-11-16 University Of South Florida Computer-assisted method and apparatus for the detection of lung nodules
US8705839B2 (en) * 2011-11-18 2014-04-22 Sharp Laboratories Of America, Inc. Electronic devices for defect detection
US20140050387A1 (en) * 2012-08-17 2014-02-20 Cognex Corporation System and Method for Machine Vision Inspection
CN105869154B (zh) * 2015-09-23 2018-10-16 长沙理工大学 一种250ml医药大输液可见异物与气泡的分类识别检测方法
US10262236B2 (en) * 2017-05-02 2019-04-16 General Electric Company Neural network training image generation system
US10755401B2 (en) * 2018-12-04 2020-08-25 General Electric Company System and method for work piece inspection
CN109858327B (zh) 2018-12-13 2023-06-09 安徽清新互联信息科技有限公司 一种基于深度学习的字符分割方法
CN110232675B (zh) 2019-03-28 2022-11-11 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法
US10997469B2 (en) * 2019-09-24 2021-05-04 Motorola Solutions, Inc. Method and system for facilitating improved training of a supervised machine learning process
CN111179253B (zh) * 2019-12-30 2023-11-24 歌尔股份有限公司 一种产品缺陷检测方法、装置与系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108768A (zh) * 2017-12-29 2018-06-01 清华大学 基于卷积神经网络的光伏玻璃缺陷分类方法及装置
CN110033481A (zh) * 2018-01-10 2019-07-19 北京三星通信技术研究有限公司 用于进行图像处理的方法和设备
CN108921825A (zh) * 2018-06-12 2018-11-30 北京羽医甘蓝信息技术有限公司 基于深度学习的检测面部皮肤点状缺陷的方法及装置
CN109118482A (zh) * 2018-08-07 2019-01-01 腾讯科技（深圳）有限公司 一种面板缺陷分析方法、装置及存储介质
CN109117822A (zh) * 2018-08-31 2019-01-01 贵州大学 一种基于深度学习的零件实例分割识别方法
CN109344736A (zh) * 2018-09-12 2019-02-15 苏州大学 一种基于联合学习的静态图像人群计数方法
CN110223269A (zh) * 2019-04-24 2019-09-10 深圳市派科斯科技有限公司 一种fpc缺陷检测方法和装置
CN110276754A (zh) * 2019-06-21 2019-09-24 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
CN110570396A (zh) * 2019-08-07 2019-12-13 华中科技大学 一种基于深度学习的工业产品缺陷检测方法
CN110555839A (zh) * 2019-09-06 2019-12-10 腾讯云计算（北京）有限责任公司 缺陷检测识别方法、装置、计算机设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何俊杰 ; 肖可 ; 刘畅 ; 陈松岩 ; .基于区域神经网络的TFT-LCD电路缺陷检测方法.计算机与现代化.2018,(07),33-38. *
基于区域神经网络的TFT-LCD电路缺陷检测方法;何俊杰;肖可;刘畅;陈松岩;;计算机与现代化(第07期) *

Also Published As

Publication number Publication date
US11295435B2 (en) 2022-04-05
US20210374940A1 (en) 2021-12-02
WO2021135331A1 (zh) 2021-07-08
CN111179253A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111179253B (zh) 一种产品缺陷检测方法、装置与系统
US11741593B2 (en) Product defect detection method, device and system
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN108764372B (zh) 数据集的构建方法和装置、移动终端、可读存储介质
US20210374941A1 (en) Product defect detection method, device and system
US11087447B2 (en) Systems and methods for quality assurance of image recognition model
CN110689539B (zh) 一种基于深度学习的工件表面缺陷检测方法
JP2018190329A (ja) 画像処理装置、画像処理プログラム、画像処理システム
CN109598298B (zh) 图像物体识别方法和系统
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN114463637B (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN111598863A (zh) 缺陷检测方法、装置、设备及可读存储介质
CN113807378B (zh) 训练数据增量方法、电子装置与计算机可读记录介质
CN112651989B (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统
CN106203454A (zh) 证件版式分析的方法及装置
CN114677567B (zh) 模型训练方法、装置、存储介质及电子设备
CN113592859B (zh) 一种基于深度学习的用于显示面板缺陷的分类方法
CN114972246A (zh) 一种基于深度学习的模切产品表面缺陷检测方法
CN117765485A (zh) 基于改进的深度残差网络的车型识别方法、装置和设备
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN111160079A (zh) 一种快速识别柑橘花期的方法
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN115601341A (zh) Pcba板缺陷检测方法、系统、设备、介质及产品
CN115861160A (zh) 一种手机电源接口表面缺陷检测方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant