CN115249316A - 工业缺陷检测方法和装置 - Google Patents
工业缺陷检测方法和装置 Download PDFInfo
- Publication number
- CN115249316A CN115249316A CN202211154505.4A CN202211154505A CN115249316A CN 115249316 A CN115249316 A CN 115249316A CN 202211154505 A CN202211154505 A CN 202211154505A CN 115249316 A CN115249316 A CN 115249316A
- Authority
- CN
- China
- Prior art keywords
- module
- industrial
- defect detection
- data set
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 240
- 238000001514 detection method Methods 0.000 title claims abstract description 116
- 238000012549 training Methods 0.000 claims abstract description 108
- 238000012795 verification Methods 0.000 claims abstract description 35
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 56
- 238000000354 decomposition reaction Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 7
- 230000000452 restraining effect Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 14
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 239000000203 mixture Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种工业缺陷检测方法和装置，其中，所述方法包括以下步骤：构建工业缺陷检测模型；获取训练数据集和验证数据集，其中，训练数据集和验证数据集均包括工业良品数据和工业缺陷数据；根据训练数据集迭代训练工业缺陷检测模型；根据验证数据集在迭代训练后的工业缺陷检测模型中筛选出最终工业缺陷检测模型；根据最终工业缺陷检测模型进行工业缺陷检测。本发明能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，此外，在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而具有较好的适应性。
Description
技术领域
本发明涉及工业缺陷检测技术领域，具体涉及一种工业缺陷检测方法和一种工业缺陷检测装置。
背景技术
目前基于深度学习的工业缺陷检测技术主要为两个方向，其一是基于缺陷数据的目标检测算法，其二是基于良品数据的异常检测算法。其中，基于缺陷数据的目标检测算法主要存在两方面的问题，一方面是缺陷数据量少，另一方面是缺陷形态往往没有固定的形态，缺陷的产生原因多种多样，导致缺陷形态也是多种多样，因此产线收集的缺陷数据难以涵盖全部的缺陷特征形态，因此，基于缺陷数据训练出来的模型质量通常由缺陷数据的数量决定，倘若缺陷数据的数量较少，往往很难得到良好的检测模型；此外，基于良品数据的异常检测算法均基于一个假设，即所有的良品都服从同一个特征分布，因此，当良品特征与已收集的良品数据有差异时，往往会导致过杀，影响检测准确性。
发明内容
本发明为解决上述技术问题，提供了一种工业缺陷检测方法，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，此外，在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而具有较好的适应性。
本发明采用的技术方案如下：
一种工业缺陷检测方法，包括以下步骤：构建工业缺陷检测模型；获取训练数据集和验证数据集，其中，所述训练数据集和所述验证数据集均包括工业良品数据和工业缺陷数据；根据所述训练数据集迭代训练所述工业缺陷检测模型；根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型；根据所述最终工业缺陷检测模型进行工业缺陷检测。
根据本发明的一个实施例，所述工业缺陷检测模型包括：特征提取模块，所述特征提取模块用于提取输入工业数据的混合特征；特征分解模块，所述特征分解模块与所述特征提取模块相连，所述特征分解模块用于将所述混合特征分解为工件特征部分和缺陷特征部分；分类模块，所述分类模块与所述特征分解模块相连，所述分类模块用于判断所述缺陷特征部分是否存在真实缺陷特征；判别模块，所述判别模块与所述特征分解模块相连，所述判别模块用于约束所述工件特征部分为良品。
根据本发明的一个实施例，所述特征分解模块为深度学习中的注意力机制模块。
根据本发明的一个实施例，所述根据所述训练数据集迭代训练所述工业缺陷检测模型，包括以下步骤：将所述训练数据集输入所述特征提取模块以提取所述训练数据集的混合特征；根据所述特征提取模块提取的混合特征训练所述判别模块约束良品；固定训练后的所述特征提取模块和所述判别模块的网络参数；将所述训练数据集输入固定后的所述特征提取模块以提取所述训练数据集的混合特征；将固定后的所述特征提取模块提取的混合特征输入所述特征分解模块以得到相应的工件特征部分和缺陷特征部分；根据所述相应的缺陷特征部分训练所述分类模块判断真实缺陷特征。
根据本发明的一个实施例，采用如下第一目标函数训练所述判别模块：
其中，
表示所述特征提取模块，
表示所述判别模块，
表示所述特征提取模块的网络参数，
表示所述判别模块的网络参数，
表示所
述训练数据集中的第i个训练数据，n表示所述训练数据集中训练数据量，
表示所述训练
数据集中的第i个训练数据的标注。
根据本发明的一个实施例，采用如下第二目标函数训练所述分类模块：
其中，
表示所述特征分解模块的网络参数，
表示所述分类模块的网络参
数，
表示所述判别模块，
表示所述分类模块，
表示所述相应的缺陷特
征部分，
表示所述相应的工件特征部分，p(*)表示概率分布。
根据本发明的一个实施例，所述根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型，包括以下步骤：根据所述验证数据集计算每一个迭代训练后的所述分类模块的判断结果的AUC值；根据所述AUC值在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型。
一种工业缺陷检测装置，包括：建模模块，所述建模模块用于构建工业缺陷检测模型；获取模块，所述获取模块用于获取训练数据集和验证数据集，其中，所述训练数据集和所述验证数据集均包括工业良品数据和工业缺陷数据；训练模块，所述训练模块用于根据所述训练数据集迭代训练所述工业缺陷检测模型；验证模块，所述验证模块用于根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型；检测模块，所述检测模块用于根据所述最终工业缺陷检测模型进行工业缺陷检测，所述工业缺陷检测模型包括：特征提取模块，所述特征提取模块用于提取输入工业数据的混合特征；特征分解模块，所述特征分解模块与所述特征提取模块相连，所述特征分解模块用于将所述混合特征分解为工件特征部分和缺陷特征部分；分类模块，所述分类模块与所述特征分解模块相连，所述分类模块用于判断所述缺陷特征部分是否存在真实缺陷特征；判别模块，所述判别模块与所述特征分解模块相连，所述判别模块用于约束所述工件特征部分为良品。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述实施例所述的工业缺陷检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所述的工业缺陷检测方法。
本发明的有益效果：
本发明能够将待检测工件将混合了工件特征部分与缺陷特征部分的混合特征进行分离，并进一步判断缺陷特征部分是否存在真实缺陷特征，从而检测对应待检测工件是否为良品，由此，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，并且较于基于良品的异常检测算法而言，本发明并不假设所有的良品服从同样的特征分布，因此在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而能够具有较好的适应性。
附图说明
图1为本发明实施例的工业缺陷检测方法的流程图；
图2为本发明一个实施例的工业缺陷检测模型的结构示意图；
图3为本发明实施例的工业缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的工业缺陷检测方法的流程图。
如图1所示，本发明实施例的工业缺陷检测方法，包括以下步骤：
S1，构建工业缺陷检测模型。
具体地，如图2所示，工业缺陷检测模型可包括特征提取模块01、特征分解模块02、分类模块03和判别模块04。其中，特征提取模块01可用于提取输入工业数据的混合特征；特征分解模块02与特征提取模块01相连，并且特征分解模块02可用于将混合特征分解为工件特征部分和缺陷特征部分；分类模块03与特征分解模块02相连，并且分类模块03可用于判断缺陷特征部分是否存在真实缺陷特征；判别模块04与特征分解模块02相连，并且判别模块04可用于约束工件特征部分为良品。
更具体地，特征提取模块01可为Encoder，可由卷积神经网络组成；特征分解模块02可为Attention Module，即深度学习中的注意力机制模块；分类模块03和判别模块04可分别为分类器和判别器。
S2，获取训练数据集和验证数据集，其中，训练数据集和验证数据集均包括工业良品数据和工业缺陷数据。
具体地，可根据工业中待检测工件的摆放位姿确定拍摄角度，从而采集业中待检测工件的工业良品数据，即良品图像和工业缺陷数据，即缺陷图像，并可将采集得到的工业良品数据和工业缺陷数据混合后进行分类，即分为工业良品数据和工业缺陷数据。
举例而言，可采集200-500张良品图像，即工业良品数据，以及30-50张缺陷图像，即工业缺陷数据，并可将200-500张良品图像，即工业良品数据和30-50张缺陷图像，即工业缺陷数据中各抽出80%混合作为训练数据集，此外，还可200-500张良品图像，即工业良品数据和30-50张缺陷图像，即工业缺陷数据中剩余的80%混合作为验证数据集。其中，30-50张缺陷图像，即工业缺陷数据需要进行标注，即进行缺陷标注。
S3，根据训练数据集迭代训练工业缺陷检测模型。
具体地，可将训练数据集输入特征提取模块01以提取训练数据集的混合特征，并可根据特征提取模块01提取的混合特征训练判别模块04约束良品，然后可固定训练后的特征提取模块01和判别模块04的网络参数，并可将训练数据集输入固定后的特征提取模块01以提取训练数据集的混合特征，进而可将固定后的特征提取模块01提取的混合特征输入特征分解模块02以得到相应的工件特征部分和缺陷特征部分，最后可根据相应的缺陷特征部分训练分类模块03判断真实缺陷特征。
在本发明的一个实施例中，参照图2，可将混合工业良品数据（OK）和工业缺陷数据（NG）的训练数据集输入特征提取模块01，特征提取模块01可提取训练数据集的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分，并可将提取到的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分直接输入判别模块04，以训练判别模块04将工件特征部分的输出约束为0。其中，需要说明的是，特征提取模块01还可提取工业良品数据的单一特征，即工件特征部分并直接输入判别模块04，以训练判别模块04将工件特征部分的输出约束为0，由此，能够保证判别模块04约束工业良品数据的输出为0。
具体地，可采用如下第一目标函数训练判别模块04：
其中，
表示特征提取模块01，
表示判别模块04，
表
示特征提取模块01的网络参数，
表示判别模块04的网络参数，
表示训练数据集中
的第i个训练数据，n表示训练数据集中训练数据量，
表示训练数据集中的第i个训练数
据的标注，工业良品数据为0，工业缺陷数据为1。
在本发明的一个实施例中，可固定训练后的特征提取模块01，即Encoder的前半部分网络层的网络参数，以及判别模块04，即判别器的全部网络参数。
进一步地，参照图2，可将训练数据集输入固定后的特征提取模块01继续进行训练，例如，固定后的特征提取模块01可提取训练数据集的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分，以及工业良品数据的单一特征，即工件特征部分，并可将其混合，即Mix后输入特征分解模块02，即Attention Module；特征分解模块02，即AttentionModule可将混合的工件特征部分和缺陷特征部分分离，并可将工件特征部分，即Mod输入到判别模块04，此外还可将缺陷特征部分，即Def输入到分类模块03。其中，判别模块04可将特征分解模块02，即Attention Module分离后的工件特征部分，即Mod约束为0，即对应的工业工件为良品（OK）；分类模块03可将特征分解模块02，即Attention Module分离后的缺陷特征部分，即Def与工业缺陷数据中的缺陷标注进行对比，以判断特征分解模块02，即Attention Module分离后的缺陷特征部分，即Def是否存在真实缺陷特征，若存在，则判断对应的工业工件为废品（NG），若不存在，则判断对应的工业工件为良品（OK）。
具体地，可采用如下第二目标函数训练分类模块03：
其中，
表示特征分解模块02的网络参数，
表示分类模块03的网络参数，
表示判别模块04，
表示分类模块03，
表示相应的缺陷特征部分，
表示相应的工件特征部分，p(*)表示概率分布。
S4，根据验证数据集在迭代训练后的工业缺陷检测模型中筛选出最终工业缺陷检测模型。
具体地，可根据验证数据集计算每一个迭代训练后的分类模块03的判断结果的AUC值，并可根据AUC值在迭代训练后的工业缺陷检测模型中筛选出最终工业缺陷检测模型，例如，可根据AUC值在迭代训练后的工业缺陷检测模型筛选出区分度最大的作为最终工业缺陷检测模块。
S5，根据最终工业缺陷检测模型进行工业缺陷检测。
具体地，可通过光学相机获取工业中待检测工件的图片，并可将其发送至最终工业缺陷检测模型，以判断工业中待检测工件是否存在真实缺陷特征，若存在，则判断对应的待检测工件为废品，若不存在，则判断对应的待检测工件为良品。
本发明的有益效果如下：
本发明能够将待检测工件将混合了工件特征部分与缺陷特征部分的混合特征进行分离，并进一步判断缺陷特征部分是否存在真实缺陷特征，从而检测对应待检测工件是否为良品，由此，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，并且较于基于良品的异常检测算法而言，本发明并不假设所有的良品服从同样的特征分布，因此在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而能够具有较好的适应性。
对应上述实施例提的工业缺陷检测方法，本发明还提出了一种工业缺陷检测装置。
如图3所示，本发明实施例的工业缺陷检测装置，包括建模模块10、获取模块20、训练模块30、验证模块40和检测模块50。其中，建模模块10用于构建工业缺陷检测模型；获取模块20用于获取训练数据集和验证数据集，其中，训练数据集和验证数据集均包括工业良品数据和工业缺陷数据；训练模块30用于根据训练数据集迭代训练工业缺陷检测模型；验证模块40用于根据验证数据集在迭代训练后的工业缺陷检测模型中筛选出最终工业缺陷检测模型；检测模块50用于根据最终工业缺陷检测模型进行工业缺陷检测。
在本发明的一个实施例中，如图2所示，工业缺陷检测模型可包括特征提取模块01、特征分解模块02、分类模块03和判别模块04。其中，特征提取模块01可用于提取输入工业数据的混合特征；特征分解模块02与特征提取模块01相连，并且特征分解模块02可用于将混合特征分解为工件特征部分和缺陷特征部分；分类模块03与特征分解模块02相连，并且分类模块03可用于判断缺陷特征部分是否存在真实缺陷特征；判别模块04与特征分解模块02相连，并且判别模块04可用于约束工件特征部分为良品。
更具体地，特征提取模块01可为Encoder，可由卷积神经网络组成；特征分解模块02可为Attention Module，即深度学习中的注意力机制模块；分类模块03和判别模块04可分别为分类器和判别器。
在本发明的一个实施例中，获取模块20可根据工业中待检测工件的摆放位姿确定拍摄角度，从而采集业中待检测工件的工业良品数据，即良品图像和工业缺陷数据，即缺陷图像，并可将采集得到的工业良品数据和工业缺陷数据混合后进行分类，即分为工业良品数据和工业缺陷数据。
举例而言，可采集200-500张良品图像，即工业良品数据，以及30-50张缺陷图像，即工业缺陷数据，并可将200-500张良品图像，即工业良品数据和30-50张缺陷图像，即工业缺陷数据中各抽出80%混合作为训练数据集，此外，还可200-500张良品图像，即工业良品数据和30-50张缺陷图像，即工业缺陷数据中剩余的80%混合作为验证数据集。其中，30-50张缺陷图像，即工业缺陷数据需要进行标注，即进行缺陷标注。
在本发明的一个实施例中，训练模块30可将训练数据集输入特征提取模块01以提取训练数据集的混合特征，并可根据特征提取模块01提取的混合特征训练判别模块04约束良品，然后可固定训练后的特征提取模块01和判别模块04的网络参数，并可将训练数据集输入固定后的特征提取模块01以提取训练数据集的混合特征，进而可将固定后的特征提取模块01提取的混合特征输入特征分解模块02以得到相应的工件特征部分和缺陷特征部分，最后可根据相应的缺陷特征部分训练分类模块03判断真实缺陷特征。
在本发明的一个实施例中，参照图2，可将混合工业良品数据（OK）和工业缺陷数据（NG）的训练数据集输入特征提取模块01，特征提取模块01可提取训练数据集的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分，并可将提取到的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分直接输入判别模块04，以训练判别模块04将工件特征部分的输出约束为0。其中，需要说明的是，特征提取模块01还可提取工业良品数据的单一特征，即工件特征部分并直接输入判别模块04，以训练判别模块04将工件特征部分的输出约束为0，由此，能够保证判别模块04约束工业良品数据的输出为0。
具体地，可采用如下第一目标函数训练判别模块04：
其中，
表示特征提取模块01，
表示判别模块04，
表
示特征提取模块01的网络参数，
表示判别模块04的网络参数，
表示训练数据集中
的第i个训练数据，n表示训练数据集中训练数据量，
表示训练数据集中的第i个训练数
据的标注，工业良品数据为0，工业缺陷数据为1。
在本发明的一个实施例中，可固定训练后的特征提取模块01，即Encoder的前半部分网络层的网络参数，以及判别模块04，即判别器的全部网络参数。
进一步地，参照图2，可将训练数据集输入固定后的特征提取模块01继续进行训练，例如，固定后的特征提取模块01可提取训练数据集的混合特征，即工业缺陷数据的工件特征部分和缺陷特征部分，以及工业良品数据的单一特征，即工件特征部分，并可将其混合，即Mix后输入特征分解模块02，即Attention Module；特征分解模块02，即AttentionModule可将混合的工件特征部分和缺陷特征部分分离，并可将工件特征部分，即Mod输入到判别模块04，此外还可将缺陷特征部分，即Def输入到分类模块03。其中，判别模块04可将特征分解模块02，即Attention Module分离后的工件特征部分，即Mod约束为0，即对应的工业工件为良品（OK）；分类模块03可将特征分解模块02，即Attention Module分离后的缺陷特征部分，即Def与工业缺陷数据中的缺陷标注进行对比，以判断特征分解模块02，即Attention Module分离后的缺陷特征部分，即Def是否存在真实缺陷特征，若存在，则判断对应的工业工件为废品（NG），若不存在，则判断对应的工业工件为良品（OK）。
具体地，可采用如下第二目标函数训练分类模块03：
其中，
表示特征分解模块02的网络参数，
表示分类模块03的网络参数，
表示判别模块04，
表示分类模块03，
表示相应的缺陷特征部分，
表示相应的工件特征部分，p(*)表示概率分布。
在本发明的一个实施例中，验证模块40可根据验证数据集计算每一个迭代训练后的分类模块03的判断结果的AUC值，并可根据AUC值在迭代训练后的工业缺陷检测模型中筛选出最终工业缺陷检测模型，例如，可根据AUC值在迭代训练后的工业缺陷检测模型筛选出区分度最大的作为最终工业缺陷检测模块。
在本发明的一个实施例中，检测模块50可通过光学相机获取工业中待检测工件的图片，并可将其发送至最终工业缺陷检测模型，以判断工业中待检测工件是否存在真实缺陷特征，若存在，则判断对应的待检测工件为废品，若不存在，则判断对应的待检测工件为良品。
本发明的有益效果如下：
本发明能够将待检测工件将混合了工件特征部分与缺陷特征部分的混合特征进行分离，并进一步判断缺陷特征部分是否存在真实缺陷特征，从而检测对应待检测工件是否为良品，由此，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，并且较于基于良品的异常检测算法而言，本发明并不假设所有的良品服从同样的特征分布，因此在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而能够具有较好的适应性。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现根据上述实施例中的工业缺陷检测方法。
根据本发明实施例提出的计算机设备，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，并且较于基于良品的异常检测算法而言，本发明并不假设所有的良品服从同样的特征分布，因此在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而能够具有较好的适应性。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现根据上述实施例的工业缺陷检测方法。
根据本发明实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述实施例的工业缺陷检测方法，由此，能够通过较少量的良品图片与缺陷图片学习如何通过一张图推断出待检测工件的工件特征，从而判断该待检测工件对应的图片是否有真实缺陷特征，并且较于基于良品的异常检测算法而言，本发明并不假设所有的良品服从同样的特征分布，因此在拍摄条件有变化或良品的生产有波动等情况下仍具有准确的缺陷检测性能，从而能够具有较好的适应性。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (9)
1.一种工业缺陷检测方法，其特征在于，包括以下步骤：
构建工业缺陷检测模型；
获取训练数据集和验证数据集，其中，所述训练数据集和所述验证数据集均包括工业良品数据和工业缺陷数据；
根据所述训练数据集迭代训练所述工业缺陷检测模型；
根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型；
根据所述最终工业缺陷检测模型进行工业缺陷检测，
所述工业缺陷检测模型包括：特征提取模块，所述特征提取模块用于提取输入工业数据的混合特征；特征分解模块，所述特征分解模块与所述特征提取模块相连，所述特征分解模块用于将所述混合特征分解为工件特征部分和缺陷特征部分；分类模块，所述分类模块与所述特征分解模块相连，所述分类模块用于判断所述缺陷特征部分是否存在真实缺陷特征；判别模块，所述判别模块与所述特征分解模块相连，所述判别模块用于约束所述工件特征部分为良品。
2.根据权利要求1所述的工业缺陷检测方法，其特征在于，所述特征分解模块为深度学习中的注意力机制模块。
3.根据权利要求1所述的工业缺陷检测方法，其特征在于，所述根据所述训练数据集迭代训练所述工业缺陷检测模型，包括以下步骤：
将所述训练数据集输入所述特征提取模块以提取所述训练数据集的混合特征；
根据所述特征提取模块提取的混合特征训练所述判别模块约束良品；
固定训练后的所述特征提取模块和所述判别模块的网络参数；
将所述训练数据集输入固定后的所述特征提取模块以提取所述训练数据集的混合特征；
将固定后的所述特征提取模块提取的混合特征输入所述特征分解模块以得到相应的工件特征部分和缺陷特征部分；
根据所述相应的缺陷特征部分训练所述分类模块判断真实缺陷特征。
4.根据权利要求3所述的工业缺陷检测方法，其特征在于，采用如下第一目标函数训练所述判别模块：
其中，
表示所述特征提取模块，
表示所述判别模块，
表示
所述特征提取模块的网络参数，
表示所述判别模块的网络参数，
表示所述训练数
据集中的第i个训练数据，n表示所述训练数据集中训练数据量，
表示所述训练数据集中
的第i个训练数据的标注。
5.根据权利要求4所述的工业缺陷检测方法，其特征在于，采用如下第二目标函数训练所述分类模块：
其中，
表示所述特征分解模块的网络参数，
表示所述分类模块的网络参数，
表示所述判别模块，
表示所述分类模块，
表示所述相应的缺陷特征部
分，
表示所述相应的工件特征部分，p(*)表示概率分布。
6.根据权利要求1所述的工业缺陷检测方法，其特征在于，所述根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型，包括以下步骤：
根据所述验证数据集计算每一个迭代训练后的所述分类模块的判断结果的AUC值；
根据所述AUC值在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型。
7.一种工业缺陷检测装置，其特征在于，包括：
建模模块，所述建模模块用于构建工业缺陷检测模型；
获取模块，所述获取模块用于获取训练数据集和验证数据集，其中，所述训练数据集和所述验证数据集均包括工业良品数据和工业缺陷数据；
训练模块，所述训练模块用于根据所述训练数据集迭代训练所述工业缺陷检测模型；
验证模块，所述验证模块用于根据所述验证数据集在迭代训练后的所述工业缺陷检测模型中筛选出最终工业缺陷检测模型；
检测模块，所述检测模块用于根据所述最终工业缺陷检测模型进行工业缺陷检测，
所述工业缺陷检测模型包括：特征提取模块，所述特征提取模块用于提取输入工业数据的混合特征；特征分解模块，所述特征分解模块与所述特征提取模块相连，所述特征分解模块用于将所述混合特征分解为工件特征部分和缺陷特征部分；分类模块，所述分类模块与所述特征分解模块相连，所述分类模块用于判断所述缺陷特征部分是否存在真实缺陷特征；判别模块，所述判别模块与所述特征分解模块相连，所述判别模块用于约束所述工件特征部分为良品。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-6中任一项所述的工业缺陷检测方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-6中任一项所述的工业缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211154505.4A CN115249316A (zh) | 2022-09-22 | 2022-09-22 | 工业缺陷检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211154505.4A CN115249316A (zh) | 2022-09-22 | 2022-09-22 | 工业缺陷检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115249316A true CN115249316A (zh) | 2022-10-28 |
Family
ID=83700668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211154505.4A Pending CN115249316A (zh) | 2022-09-22 | 2022-09-22 | 工业缺陷检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115249316A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843625A (zh) * | 2023-06-05 | 2023-10-03 | 广东粤桨产业科技有限公司 | 工业质检场景的缺陷检测模型部署方法、系统及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210097673A1 (en) * | 2019-10-01 | 2021-04-01 | Carl Zeiss Smt Gmbh | Root cause analysis for fabrication processes of semiconductor structures |
| CN113822842A (zh) * | 2021-04-30 | 2021-12-21 | 聚时科技(上海)有限公司 | 一种基于多任务学习的工业缺陷检测方法 |
| CN114972216A (zh) * | 2022-05-10 | 2022-08-30 | 华中科技大学 | 一种纹理表面缺陷检测模型的构建方法及其应用 |
-
2022
- 2022-09-22 CN CN202211154505.4A patent/CN115249316A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210097673A1 (en) * | 2019-10-01 | 2021-04-01 | Carl Zeiss Smt Gmbh | Root cause analysis for fabrication processes of semiconductor structures |
| CN113822842A (zh) * | 2021-04-30 | 2021-12-21 | 聚时科技(上海)有限公司 | 一种基于多任务学习的工业缺陷检测方法 |
| CN114972216A (zh) * | 2022-05-10 | 2022-08-30 | 华中科技大学 | 一种纹理表面缺陷检测模型的构建方法及其应用 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116843625A (zh) * | 2023-06-05 | 2023-10-03 | 广东粤桨产业科技有限公司 | 工业质检场景的缺陷检测模型部署方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102473660B (zh) | 等离子加工系统自动瑕疵检测和分类及其方法 | |
| CN110866891A (zh) | 图像识别装置、图像识别方法及图像识别程序 | |
| CN113096130B (zh) | 物件缺陷的检测方法、装置 | |
| JP2019109563A (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| JP6707920B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP5718781B2 (ja) | 画像分類装置および画像分類方法 | |
| CN107004265A (zh) | 信息处理装置、处理信息的方法、鉴别器生成装置、生成鉴别器的方法、以及程序 | |
| CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
| CN110599484B (zh) | 缺陷检测方法、装置及存储介质 | |
| JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP7254921B2 (ja) | 半導体試料の欠陥の分類 | |
| CN112508950B (zh) | 异常检测方法和装置 | |
| TWI832435B (zh) | 水質監視系統及電腦可讀取記錄媒體 | |
| CN103606221A (zh) | 清分机故障自动诊断方法以及装置 | |
| CN115249316A (zh) | 工业缺陷检测方法和装置 | |
| CN113888480A (zh) | 一种基于mes的质量追溯方法和系统 | |
| CN113554645B (zh) | 基于wgan的工业异常检测方法和装置 | |
| CN113781483B (zh) | 工业产品外观缺陷检测方法和装置 | |
| CN116542984A (zh) | 五金件缺陷检测方法、装置、计算机设备及存储介质 | |
| JP2019158684A (ja) | 検査システム、識別システム、及び識別器評価装置 | |
| CN115937555A (zh) | 一种基于标准化流模型的工业缺陷检测算法 | |
| CN115205288A (zh) | 工业缺陷检测方法和装置 | |
| US20210089886A1 (en) | Method for processing data based on neural networks trained by different methods and device applying method | |
| US20210150437A1 (en) | Installing environment estimation device and computer readable medium | |
| JP2003076976A (ja) | パターンマッチング方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221028 |
|
| RJ01 | Rejection of invention patent application after publication |