CN111833313B - 基于深度主动学习的工业产品表面缺陷检测方法及系统 - Google Patents

基于深度主动学习的工业产品表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN111833313B
CN111833313B CN202010574964.2A CN202010574964A CN111833313B CN 111833313 B CN111833313 B CN 111833313B CN 202010574964 A CN202010574964 A CN 202010574964A CN 111833313 B CN111833313 B CN 111833313B
Authority
CN
China
Prior art keywords
training
samples
model
data
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010574964.2A
Other languages
English (en)
Other versions
CN111833313A (zh
Inventor
伍旭东
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010574964.2A priority Critical patent/CN111833313B/zh
Publication of CN111833313A publication Critical patent/CN111833313A/zh
Application granted granted Critical
Publication of CN111833313B publication Critical patent/CN111833313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于深度主动学习的工业产品表面缺陷检测方法，解决现有运用卷积神经网络检测缺陷时，浪费人力时间大量标注数据的问题，方法包括：利用图像采集器采集工业产品表面图像样本；通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型，保留卷积神经网络模型的各层参数作为训练模型的初始参数；初始化训练模型，得到神经网络参数W后，将已标注训练样本集L中的样本清空；通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；对工业产品表面进行缺陷检测。本发明提出了一种基于深度主动学习的工业产品表面缺陷检测系统，提高工业产品表面缺陷检测效率。

Description

基于深度主动学习的工业产品表面缺陷检测方法及系统
技术领域
本发明涉及工业产品表面缺陷检测的技术领域，更具体地，涉及一种基于深度主动学习的工业产品表面缺陷检测方法及系统。
背景技术
在工业生产中，工业产品的质量问题主要表现在生产材料缺陷、安装配置缺陷、各种表面缺陷等问题上，其中表面缺陷是最主要的表现形式。现有的表面缺陷检测方法是人工目视检测，这样的方式具有效率低，成本高等缺点，另外在对人体有害的生产环境中，人工目视检测失效。
得益于深度学习的兴起和卷积神经网络在特征提取、表达方面表现出的优良适应能力，一批运用卷积神经网络检测缺陷的方法应运而生，通过构建一个深度卷积神经网络模型，然后用大量的标注数据去训练模型，使深度卷积神经网络学习到这些数据中的特征，拥有识别图像特征的能力，通常来说要让深度神经网络具有较好的特征识别能力，需要大量的标注数据去训练，王立中等在2018年5月25日公开了“基于深度学习的带钢表面缺陷检测”的文章，带钢表面缺陷检测的准确率达到92.2％，并且具有较快的检测速度，完全满足了工业生产中对带钢自动化检测的要求，但训练深度学习模型时需要大量的已标注数据，而获取已标注数据需要投入大量的人力和时间。其次，在工业生产中，存在缺陷的产品数量远少于正常产品的数量，且工业产品检测场景单一，样本可供训练的有效信息不多，因此，在训练模型时，大部分是无用的重复信息，不利于模型精度的提高。
综上所述，以上存在的不足使深度学习卷积神经网络模型的训练花费较多时间和成本，工业产品表面缺陷的检测方法需要进一步改进。
发明内容
为克服现有运用卷积神经网络检测缺陷的方法在训练深度学习模型时须大量标注数据，具有花费大量人力和时间的弊端，而且训练深度学习模型时的数据大部分是无用的重复信息，不利于模型精度的提高，本发明提出一种基于深度主动学习的工业产品表面缺陷检测方法及系统，减少训练数据的标注量，提高训练效率及工业产品表面缺陷检测效率。
为实现以上发明目的，本发明的技术方案如下：
一种基于深度主动学习的工业产品表面缺陷检测方法，至少包括以下步骤：
S1.采集工业产品表面图像样本，组成训练样本集；
S2.通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型，保留卷积神经网络模型的各层参数作为训练模型的初始参数；
S3.将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中；
S4.将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空；
S5.通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；
S6.利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测。
在此，迁移学习为深度学习领域的一个手段，是将一个在其它训练样本集上训练好参数的神经网络模型迁移到一个全新的网络里应用，训练另一个数据样本集，在训练深度学习网络的过程中，初始化参数有着重要的作用，优秀的初始化参数能够避免在训练的开始模型陷入最优解，为此步骤S2中利用迁移学习获取一个在其它训练集上已经训练好的卷积神经网络模型，保留卷积神经网络模型的各层参数作为训练模型的初始参数，而且已经训练好的卷积神经网络模型具有一定的特征表达能力，能加快神经网络训练的速度；步骤S3及步骤S4为卷积神经网络模型初始化的过程，另外对模型进行训练的手段为本领域的基本操作，模型调节即模型微调，属于深度学习领域的常规操作，步骤S4中将已标注训练样本集L中的样本清空是为了下一批样本数据的进入留出空间。
优选地，步骤S2所述通过迁移学习获取的卷积神经网络模型为VGGNet16卷积神经网络模型，VGGNet16卷积神经网络模型作为工业产品表面缺陷检测的训练模型。
在此，由于VGGNet16卷积神经网络模型在图像分类及定位时均具有良好的性能，工业产品表面缺陷检测也是通过图像分类进行的，所以通过迁移学习获取VGGNet16卷积神经网络模型作为工业产品表面缺陷检测的训练模型。
优选地，在步骤S2之后，步骤S3之前还包括：对训练模型的输入层和输出层分别进行修改，将输入层大小修改为输入工业产品表面图像样本的大小，将输出层大小修改为缺陷分类的类数，保证输入数据大小、缺陷分类分别与输入输出层大小适应。
优选地，步骤S5所述的通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节的过程包括：
S51.从未标注数据集U中随机选取m个样本加入到候选样本集C中；
S52.将候选样本集C中的样本输入到训练模型中，在训练模型的softmax层得到样本的输出p(yj|xi；W)，其中，xi表示第i个输入样本数据；yj表示训练模型的第j个输出样本数据，即第j类缺陷，p表示第i个输入样本数据被训练模型判断为第j类缺陷的概率；
S53.根据训练模型的softmax层的样本输出p(yj|xi；W)，利用主动学习法求得m个样本的信息不确定性BvSB；
S54.对m个样本的BvSB值进行排序，选取BvSB值最小的K个样本作为信息最丰富样本，将BvSB值最小的K个样本数据进行数据增广处理，K≤m；
S55.将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注，放入已标注数据集L中，从候选样本集C里未被选中的样本中随机选取2K个样本数据进行标注并放入标注数据集L中；
S56.利用已标注数据集L对训练模型进行训练调节，将候选样本集C和已标注数据集L中的样本清空；
S57.令Kt+1＝Kt-r*t，其中，Kt+1表示第t+1次模型训练调节时K的值，t表示第t次模型调节，Kt表示第t次模型训练调节时K的值，r表示模型调节控制比例；
S58.判断未标注数据集U中所有数据是否均已被挑选训练，若是，执行步骤S6，否则，返回执行步骤S51。
在此，信息不确定性代表了样本的信息丰富程度，信息不确定性越低表示其信息丰富程度越高，利用BvSB值来代表信息不确定性时的计算量小，另外，在训练中，随着VGGNet16卷积神经网络模型的特征识别性能的提高，训练模型需要的数据信息丰富程度应该更高，因此K值应该减少，令Kt+1＝Kt-r*t，从候选样本集C里未被选中的样本中随机选取2K个样本数据进行标注并放入标注数据集L中是为了克服主动学习挑选的样本可能存在缺陷，造成训练的网络在识别合格工业品的能力可能不足的弊端。
优选地，m个样本中每一个输入样本数据xi的信息不确定性BvSB的计算公式为：
BvSBi＝argmin(p(ybest|xi；W)-p(ysecond-best|xi；W))
其中，BvSBi表示第i个输入样本数据xi的信息不确定性BvSB值，BvSB值越小，信息丰富程度越高；argmin表示取得最小值的函数，ybest和Ysecond-best分别表示第i个输入样本数据xi输入至训练模型时，最优及第二优的缺陷分类，p(ybest|xi；W)表示第i个输入样本数据被训练模型判断为最优属于的缺陷的概率；p(ysecond-best|xi；W)表示第i个输入样本数据被训练模型判断为第二优属于的缺陷的概率。
优选地，在步骤S53之后，步骤S54之前还包括：根据m个样本最优属于的缺陷分类概率及第二优属于的缺陷分类概率，计算每一个样本的BvSB值。
优选地，步骤S54所述数据增广处理的方式包括：水平垂直翻转、左右旋转、以及加入高斯噪声；步骤S55所述将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注时，仅标注原数据，数据增广处理后的K个样本数据与人工标注对应原数据具有相同的标签。
优选地，步骤S6所述的训练调节完毕的标志为：未标注数据集U中所有数据均已被挑选训练。
本发明还提出一种基于深度主动学习的工业产品表面缺陷检测系统，所述系统用于实现基于深度主动学习的工业产品表面缺陷检测方法，包括：
图像样本采集器，用于采集工业产品表面图像样本；
训练模型获取器，通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型；
训练模型初始化模块，将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中，将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空；
模型标注调节器，通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；
缺陷检测模块，利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测。
与现有技术相比，本发明技术方案的有益效果是：
本发明提出一种基于深度主动学习的工业产品表面缺陷检测方法及系统，通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型，用卷积神经网络模型去学习工业产品表面缺陷特征，用主动学习方法去选择未标注数据进行标注，从未标注数据集U中标注其中一部分数据放入已标注数据集L中初步训练模型，对训练模型进行训练调节，减少了人工标注样本的成本，不会应用大量重复的数据，提高了模型训练的效率和工业产品表面缺陷检测精度。
附图说明
图1为本发明提出的基于深度主动学习的工业产品表面缺陷检测方法的流程图；
图2为本发明实施例中提出的VGGNet16卷积神经网络模型的结构图；
图3为本发明实施例中提出的VGGNet16卷积神经网络模型初始化的过程示意图；
图4为本发明提出的深度主动学习方法与传统深度学习方法分类器性能比较示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，一种基于深度主动学习的工业产品表面缺陷检测方法，包括以下步骤：
S1.采集工业产品表面图像样本，组成训练样本集；
S2.通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型，保留卷积神经网络模型的各层参数作为训练模型的初始参数；
在本实施例中，通过迁移学习获取的卷积神经网络模型为VGGNet16卷积神经网络模型，VGGNet16卷积神经网络模型作为工业产品表面缺陷检测的训练模型，示意图如图2所示，参见图2，训练模型的结构主要包括convolution+ReLU层、max pooling层、fullynected+ReLU层及softmax层，图2中224×224×3等这些表示VGGNet16卷积神经网络模型的输入数据大小，模型的输入是一个三通道的彩色图像，输出是softmax值；
S3.将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中；
S4.将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空，为了下一批样本数据的进入留出空间；步骤S3及步骤S4为卷积神经网络模型初始化的过程，示意图如图3所示；
S5.通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；过程包括：
S51.从未标注数据集U中随机选取m个样本加入到候选样本集C中；
S52.将候选样本集C中的样本输入到训练模型中，在训练模型的softmax层得到样本的输出p(yj|xi；W)，其中，xi表示第i个输入样本数据；yj表示训练模型的第j个输出样本数据，即第j类缺陷，p表示第i个输入样本数据被训练模型判断为第j类缺陷的概率；
S53.根据训练模型的softmax层的样本输出p(yj|xi；W)，利用主动学习法求得m个样本的信息不确定性BvSB；
S54.对m个样本的BvSB值进行排序，选取BvSB值最小的K个样本作为信息最丰富样本，将BvSB值最小的K个样本数据进行数据增广处理，K≤m；m个样本中每一个输入样本数据xi的信息不确定性BvSB的计算公式为：
BvSBi＝argmin(p(ybest|xi；W)-p(ysecond-best|xi；W))
其中，BvSBi表示第i个输入样本数据xi的信息不确定性BvSB值，BvSB值越小，信息丰富程度越高；argmin表示取得最小值的函数，ybest和ysecond-best分别表示第i个输入样本数据xi输入至训练模型时，最优及第二优的缺陷分类，p(ybest|xi；W)表示第i个输入样本数据被训练模型判断为最优属于的缺陷的概率；p(ysecond-best|xi；W)表示第i个输入样本数据被训练模型判断为第二优属于的缺陷的概率；数据增广处理的方式包括：水平垂直翻转、左右旋转、以及加入高斯噪声；步骤S55所述将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注时，仅标注原数据，数据增广处理后的K个样本数据与人工标注对应原数据具有相同的标签；
S55.将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注，放入已标注数据集L中，从候选样本集C里未被选中的样本中随机选取2K个样本数据进行标注并放入标注数据集L中；
S56.利用已标注数据集L对训练模型进行训练调节，将候选样本集C和已标注数据集L中的样本清空；
S57.令Kt+1＝Kt-r*t，其中，Kt+1表示第t+1次模型训练调节时K的值，t表示第t次模型调节，Kt表示第t次模型训练调节时K的值，r表示模型调节控制比例；
S58.判断未标注数据集U中所有数据是否均已被挑选训练，若是，执行步骤S6，否则，返回执行步骤S51。
S6.利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测，未标注数据集U中所有数据均已被挑选训练时，训练模型训练调节完毕。
在本实施例中，在步骤S2之后，步骤S3之前还包括：对训练模型的输入层和输出层分别进行修改，将输入层大小修改为输入工业产品表面图像样本的大小，将输出层大小修改为缺陷分类的类数，如图2所示，输入是224×224×3，输出是1000，将输入的大小改成输入图像大小，输出改成缺陷的分类类数，保证输入数据大小和缺陷分类与输入输出层大小适应。
在本实施例中，在步骤S53之后，步骤S54之前还包括：根据m个样本最优属于的缺陷分类概率及第二优属于的缺陷分类概率，计算每一个样本的BvSB值。
本发明还提出一种基于深度主动学习的工业产品表面缺陷检测系统，所述系统用于实现基于深度主动学习的工业产品表面缺陷检测方法，包括：
图像样本采集器，用于采集工业产品表面图像样本；
训练模型获取器，通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型；
训练模型初始化模块，将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取i个样本进行人工标注后，放入已标注训练样本集L中，将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空；
模型标注调节器，通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；
缺陷检测模块，利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测。
如图4所示的运用本发明提出的深度主动学习方法与传统深度学习方法后，分类器性能比较示意图，其中，虚线表示深度主动学习方法下分类器随训练集样本数性能提高曲线，实线是深度神经网络方法下分类器随训练集样本数性能提高曲线。由图4可知，深度主动学习收敛速度比深度学习方法快，本发明提出的基于深度主动学习的工业产品表面缺陷检测方法及系统提高了模型训练的效率。
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (8)

1.一种基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，至少包括以下步骤：
S1.利用图像采集器采集工业产品表面图像样本，组成训练样本集；
S2.通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型，保留卷积神经网络模型的各层参数作为训练模型的初始参数；
S3.将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中；
S4.将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空；
S5.通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；
步骤S5所述的通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节的过程包括：
S51.从未标注数据集U中随机选取m个样本加入到候选样本集C中；
S52.将候选样本集C中的样本输入到训练模型中，在训练模型的softmax层得到样本的输出p(yj|xi；W)，其中，xi表示第i个输入样本数据；yj表示训练模型的第j个输出样本数据，即第j类缺陷，p表示第i个输入样本数据被训练模型判断为第j类缺陷的概率；
S53.根据训练模型的softmax层的样本输出p(yj|xi；W)，利用主动学习法求得m个样本的信息不确定性BvSB；
S54.对m个样本的BvSB值进行排序，选取BvSB值最小的K个样本作为信息最丰富样本，将BvSB值最小的K个样本数据进行数据增广处理，K≤m；
S55.将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注，放入已标注数据集L中，从候选样本集C里未被选中的样本中随机选取2K个样本数据进行标注并放入标注数据集L中；
S56.利用已标注数据集L对训练模型进行训练调节，将候选样本集C和已标注数据集L中的样本清空；
S57.令Kt+1＝Kt-r*t，其中，Kt+1表示第t+1次模型训练调节时K的值，t表示第t次模型调节，Kt表示第t次模型训练调节时K的值，r表示模型调节控制比例；
S58.判断未标注数据集U中所有数据是否均已被挑选训练，若是，执行步骤S6，否则，返回执行步骤S51；
m个样本中每一个输入样本数据xi的信息不确定性BvSB的计算公式为：
BvSBi＝argmin((p(ybest|xi；W)-p(ysecond-best|xi；W))
其中，BvSBi表示第i个输入样本数据xi的信息不确定性BvSB值，BvSB值越小，信息丰富程度越高；argmin表示取得最小值的函数，ybest和ysecond-best分别表示第i个输入样本数据xi输入至训练模型时，最优及第二优的缺陷分类，p(ybest|xi；W)表示第i个输入样本数据被训练模型判断为最优属于的缺陷的概率；p(ysecond-best|xi；W)表示第i个输入样本数据被训练模型判断为第二优属于的缺陷的概率；
S6.利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测。
2.根据权利要求1所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，步骤S2所述通过迁移学习获取的卷积神经网络模型为VGGNet16卷积神经网络模型，VGGNet16卷积神经网络模型作为工业产品表面缺陷检测的训练模型。
3.根据权利要求2所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，在步骤S2之后，步骤S3之前还包括：对训练模型的输入层和输出层分别进行修改，将输入层大小修改为输入工业产品表面图像样本的大小，将输出层大小修改为缺陷分类的类数。
4.根据权利要求1所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，在步骤S53之后，步骤S54之前还包括：根据m个样本最优属于的缺陷分类概率及第二优属于的缺陷分类概率，计算每一个样本的BvSB值。
5.根据权利要求4所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，步骤S54所述数据增广处理的方式包括：水平垂直翻转、左右旋转、以及加入高斯噪声。
6.根据权利要求5所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，步骤S55所述将未标注数据集U中所有原数据及数据增广处理后的K个样本数据进行人工标注时，仅标注原数据，数据增广处理后的K个样本数据与人工标注对应原数据具有相同的标签。
7.根据权利要求6所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，步骤S6所述的训练调节完毕的标志为：未标注数据集U中所有数据均已被挑选训练。
8.一种基于深度主动学习的工业产品表面缺陷检测系统，所述系统用于实现权利要求1所述的基于深度主动学习的工业产品表面缺陷检测方法，其特征在于，包括：
图像样本采集器，用于采集工业产品表面图像样本；
训练模型获取器，通过迁移学习获取卷积神经网络模型作为工业产品表面缺陷检测的训练模型；
训练模型初始化模块，将训练样本集中n个未标记的样本放入未标注训练样本集U中，从未标注数据集U中随机选取j个样本进行人工标注后，放入已标注训练样本集L中，将已标注训练样本集L中的样本输入到训练模型，对训练模型进行初步训练，得到神经网络参数W后，将已标注训练样本集L中的样本清空；
模型标注调节器，通过主动学习选择未标注数据集U中的样本进行标注，对训练模型进行训练调节；
缺陷检测模块，利用训练调节完毕的训练模型，对工业产品表面进行缺陷检测。
CN202010574964.2A 2020-06-22 2020-06-22 基于深度主动学习的工业产品表面缺陷检测方法及系统 Active CN111833313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010574964.2A CN111833313B (zh) 2020-06-22 2020-06-22 基于深度主动学习的工业产品表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010574964.2A CN111833313B (zh) 2020-06-22 2020-06-22 基于深度主动学习的工业产品表面缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN111833313A CN111833313A (zh) 2020-10-27
CN111833313B true CN111833313B (zh) 2024-02-02

Family

ID=72898235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010574964.2A Active CN111833313B (zh) 2020-06-22 2020-06-22 基于深度主动学习的工业产品表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN111833313B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308139B (zh) * 2020-10-29 2024-03-22 中科(厦门)数据智能研究院 一种基于主动学习的样本标注方法
CN112966772A (zh) * 2021-03-23 2021-06-15 之江实验室 一种多人在线的图像半自动标注方法及系统
CN113421223B (zh) * 2021-05-26 2022-07-05 福州大学 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN114494241B (zh) * 2022-02-18 2023-05-26 工游记工业科技(深圳)有限公司 胶路缺陷检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992184A (zh) * 2015-07-02 2015-10-21 东南大学 一种基于半监督极限学习机的多类图像分类方法
CN108038853A (zh) * 2017-12-18 2018-05-15 浙江工业大学 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8140450B2 (en) * 2009-03-27 2012-03-20 Mitsubishi Electric Research Laboratories, Inc. Active learning method for multi-class classifiers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992184A (zh) * 2015-07-02 2015-10-21 东南大学 一种基于半监督极限学习机的多类图像分类方法
CN108038853A (zh) * 2017-12-18 2018-05-15 浙江工业大学 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进卷积神经网络的化纤丝饼表面缺陷识别;王泽霞;陈革;陈振中;;纺织学报(04);第44-49页 *

Also Published As

Publication number Publication date
CN111833313A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111833313B (zh) 基于深度主动学习的工业产品表面缺陷检测方法及系统
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN110648310B (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN112233090B (zh) 基于改进注意力机制的薄膜瑕疵检测方法
CN113160192A (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN103927534A (zh) 一种基于卷积神经网络的喷码字符在线视觉检测方法
CN112766334B (zh) 一种基于伪标签域适应的跨域图像分类方法
CN111862119A (zh) 基于Mask-RCNN的语义信息提取方法
CN110927171A (zh) 一种基于机器视觉的轴承滚子倒角面缺陷检测方法
CN112085024A (zh) 一种罐表面字符识别方法
CN111488920A (zh) 一种基于深度学习目标检测与识别的袋口位置检测方法
CN113610035A (zh) 一种基于改进编解码网络的水稻分蘖期杂草分割识别方法
CN111239137B (zh) 基于迁移学习与自适应深度卷积神经网络的谷物质量检测方法
CN116385374A (zh) 基于卷积神经网络的细胞计数方法
CN116071560A (zh) 一种基于卷积神经网络的水果识别方法
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN114332452B (zh) 一种针对目标检测或目标分割的图像标注结果的自动检测方法
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN115909312A (zh) 一种基于深度学习的板坯号实时检测与识别方法
CN114529894A (zh) 一种融合空洞卷积的快速场景文本检测方法
CN113869463A (zh) 一种基于交叉增强匹配的长尾噪声学习方法
CN116524297B (zh) 一种基于专家反馈的弱监督学习训练方法
CN113159112B (zh) 一种古生物化石图像自动标注方法
CN114998315B (zh) 基于深度学习的缺陷检测模型的训练方法和装置
CN113505803B (zh) 基于奇异值分解的实例物体自标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant