CN112862767B - 基于度量学习的解决难分不平衡样本的表面缺陷检测方法 - Google Patents

基于度量学习的解决难分不平衡样本的表面缺陷检测方法 Download PDF

Info

Publication number
CN112862767B
CN112862767B CN202110116473.8A CN202110116473A CN112862767B CN 112862767 B CN112862767 B CN 112862767B CN 202110116473 A CN202110116473 A CN 202110116473A CN 112862767 B CN112862767 B CN 112862767B
Authority
CN
China
Prior art keywords
feature
size
samples
sample
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110116473.8A
Other languages
English (en)
Other versions
CN112862767A (zh
Inventor
赖剑煌
王子渊
冯展祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110116473.8A priority Critical patent/CN112862767B/zh
Publication of CN112862767A publication Critical patent/CN112862767A/zh
Application granted granted Critical
Publication of CN112862767B publication Critical patent/CN112862767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于度量学习的解决难分不平衡样本的表面缺陷检测方法，所述方法包括以下步骤：对目标图像进行特征提取网络生成高维特征；将特征提取网络提取到的特征添加到自适应特征内存，根据特征偏移值调整特征内存大小并记录内存大小的改变历史，在每个迭代中，将特征内存大小的改变历史均值作为获取旧特征数量的参考值；在上一步获取到充分的对比样本对后，同时计算欧氏距离和余弦距离的双相似性度量来度量不同样本的特征相似性。使用前k难单中心聚类的三元组损失，每次迭代中充分挖掘训练批次中的困难样本，解决多分类任务的不平衡样本。提出的方法在不引入任何计算量的情况下，提高了模型的预测精度，并且优于最新方法。

Description

基于度量学习的解决难分不平衡样本的表面缺陷检测方法
技术领域
本发明属于工业表面缺陷检测研究技术领域，特别涉及基于度量学习的解决难分不平衡样本的表面缺陷检测方法。
技术背景
表面缺陷检测是世界制造业生产过程中必不可少的一部分。变形、划伤和其他缺陷不仅会破坏产品的整体美观，还会对产品造成严重损坏。过去，由于缺乏可靠的自动缺陷检测技术，这项工作主要是通过人工检测来完成的。随着计算机科学和人工智能技术的发展，基于机器视觉的工业表面缺陷检测技术在各个领域和生产线上逐渐取代了人工检测，有效地提高了工业生产效率。
在复杂的工业环境中，表面缺陷检测仍然面临着许多挑战。例如，一个挑战是样本问题。与ImageNet数据集中1400多万个样本数据相比，表面缺陷检测中最常见的问题是小样本和不平衡数据。有些数据集甚至只有少数或几十幅有缺陷的图像可供训练。
表面缺陷检测的另一个挑战是不同类型缺陷的复杂性和相似缺陷之间的巨大差异。一方面，在正常样本中，会出现一些类似“缺陷”的不规则区域，它可能是在产品表面固有的纹理，这并不是工业上定义的缺陷。另一方面，一些缺陷样本可能与无缺陷样本非常相似，特别是在光照不均匀和背景纹理复杂的情况下，模型更加难以分辨出它是否具有缺陷。
深度度量学习能够学习到一种特征表示，使得相似样本的特征向量之间距离小，不相似样本的特征向量之间距离大。这种方法非常适用于不平衡数据下的工业表面缺陷检测。在度量学习领域，为了区分难分样本，各种有效的损失函数被设计于学习单一的特征表示,在图像检索等任务中上被证明非常有效。但是在工业表面缺陷检测任务中，使用单一的距离度量可能无法很好的区分这些样本。另一方面，度量学习的方法非常依赖于难分样本挖掘，而由于批次大小的限制，一个批次中可用的样本非常有限；尽管在图像深度度量学习领域已经提出可以使用特征内存来保存历史的特征，并用于跨批次的难分样本挖掘，但是目前的特征内存直接用于工业表面缺陷检测任务，需要调节两个超参数：起始迭代和内存大小，必须调节到一个很合适的值才起作用，否则它反而可能会影响分类精度。这极大地增加了工业表面缺陷检测模型的开发成本，使得特征内存这个技术目前还无法很好的应用于该领域。最后，近年来也有很多工作将深度度量学习应用于工业表面缺陷检测，但是他们都没有足够重视难分样本的挖掘，这无疑大大降低了深度度量学习的作用。
现有的工业表面缺陷检测还存在以下问题：
1、由于工业表面缺陷数据集不同类型缺陷的复杂性和相似缺陷之间的巨大差异，基于度量学习的方法使用单一的距离度量可能无法很好的区分一些难分的样本。因此本发明提出双重了相似性，以更准确地度量这些样本。
2、目前基于特征内存的跨批次难分样本挖掘的方法存在着两个超参数，这极大地增加了工业表面缺陷检测模型的开发成本，使得特征内存这个技术目前还无法很好的应用于该领域。因此本发明提出自适应特征内存，是使跨批次难分样本挖掘在基于度量学习的工业表面缺陷检测技术中的应用变得更加容易。
3、目前基于度量学习的工业表面缺陷检测方法没有足够重视训练过程中的难分样本，并且工业表面缺陷数据集通常是不平衡的。因此我们提出k难单中心聚类三元组损失，提升不平衡数据下充分挖掘当前批次的难分样本。
发明内容
鉴于现有技术的缺陷，本发明旨在于提供一种基于度量学习的解决难分不平衡样本的表面缺陷检测方法，其目标是在不平衡样本下，使用度量学习的方法，挖掘和识别难分样本，以提高深层模型的性能和降低计算成本。提出的双重相似度量模块用于学习更紧凑、更具区分性的特征，提高了深层模型在识别难分样本方面的能力；提出的自适应特征内存模块的目的是自适应地跨批次挖掘难分样本；提出使用前k难单中心聚类的三元组损失，在不平衡数据下充分挖掘训练批次中的困难样本，提高多缺陷分类的精度；针对工业应用环境的实时性要求，设计了一个轻量级的表面缺陷检测网络；提出的方法在不引入任何计算量的情况下，提高了模型的预测精度，并且优于最新方法。
为了实现上述目的，本发明采用的技术方案如下：
基于度量学习的解决难分不平衡样本的表面缺陷检测方法，所述方法包括以下步骤：
S1对目标图像进行特征提取网络生成高维特征；
S2将特征提取网络提取到的特征添加到自适应特征内存，根据特征偏移值调整特征内存大小并记录内存大小的改变历史，在每个迭代中，将特征内存大小的改变历史均值作为获取旧特征数量的参考值；
S3在上一步获取到充分的对比样本对后，同时计算欧氏距离和余弦距离的双相似性度量来度量不同样本的特征相似性。
S4使用前k难单中心聚类的三元组损失，每次迭代中充分挖掘训练批次中的困难样本，解决多分类任务的不平衡样本。
需要说明的是，本发明所述高维特征的长度是128。
需要进一步说明的是，所述步骤S1中，特征提取网络中，第一个stage将原图先通过一个步幅为2的7x7的卷积以及一个2x2的最大池化层，得到原图1/4大小的特征图；而后的3个stage，都是用3x3步幅为1的卷积核，分别具有2、3、4个卷积层，每个stage最后都经过一个2x2的最大池化层；紧接最后一个stage是一个自适应平均池化层，它将128通道的特征图扁平化为128长度的特征，该特征经过同样128个神经元的全连接层后，得到最后的128维度的向量，即用于度量的高维特征。
优选的，基于上一步骤，4个stage的通道数分别为32、32、64、128。
需要进一步说明的是，所述步骤S2中特征内存大小在训练过程中是动态变化的，自适应算法将特征偏移大小作为参考量，当其增大时增大特征内存，反之减小特征内存，记录特征内存大小变化的历史，在每个迭代中，计算该特征内存的历史大小的平均值，作为获取对比特征的窗口大小。
需要进一步说明的是，所述步骤S3中的欧氏距离和余弦距离的公式如下：
Figure GDA0003007980690000051
Figure GDA0003007980690000052
其中x，y分别表示两个不同样本的128维的特征，xi，yi分别表示x，y特征的第i个分量。
需要进一步说明的是，所述步骤S4包括：
Figure GDA0003007980690000053
其中，N表示批次的大小。函数d表示公式1和2的双重相似度。A表示当前批次中与样本a类别相同的样本集合，NA表示该集合大小，
Figure GDA0003007980690000054
代表不同类别的样本。LA是集合A中与样本a距离最大的k个样本集合，而
Figure GDA0003007980690000055
表示集合
Figure GDA0003007980690000056
中与样本a距离最小的k个样本集合。
本发明的有益效果在于：
1、本发明提出的双相似性度量(DSM)，使特征的学习受两个距离函数的约束，这等效于将高维特征空间分为两个部分进行学习。与其他基于单一相似性的方法相比，双重相似性度量可以学习更加紧凑和更具区分性特征，从而提高了分类器区分难分样本的能力。
2、本发明提出的自适应特征内存(AEMM)克服了固定特征内存的缺点，消除了两个重要的超参数，极大地降低了算法的开发时间，使跨批次难分样本挖掘在基于度量学习的工业表面缺陷检测技术中的应用变得更加容易。使用了自适应特征内存后，网络训练不再仅仅依赖于当前此次中的样本，而是可以动态地使用先前迭代中的样本来获取大量的比较样本对，实现了跨批次挖掘难分样本。
3、本发明提出的k难单中心聚类的三元组损失，k难相比普通的三元组损失和最难三元组损失更能充分挖掘批次中的难分样本，单中心聚类可以缓解由不平衡样本导致的多缺陷分类任务精度降低的问题。
附图说明
图1为本发明方法的网络结构图；
图2为本发明步骤2中的自适应算法的流程图；
图3为本发明中对特征内存采用自适应算法与手动调参的结果图；
图4为磁瓦(MT)数据集上各种样本的数量；
图5为单中心聚类(a)和双中心聚类(b)形成的特征空间示意图；
图6为本发明识别出难分样本的效果图正确分类。
具体实施例
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
如图1所示，本发明为基于度量学习的解决难分不平衡样本的表面缺陷检测方法，所述方法包括以下步骤：
S1对目标图像进行特征提取网络生成高维特征；
S2将特征提取网络提取到的特征添加到自适应特征内存，根据特征偏移值调整特征内存大小并记录内存大小的改变历史，在每个迭代中，将特征内存大小的改变历史均值作为获取旧特征数量的参考值；
S3在上一步获取到充分的对比样本对后，同时计算欧氏距离和余弦距离的双相似性度量来度量不同样本的特征相似性。
S4使用前k难单中心聚类的三元组损失，每次迭代中充分挖掘训练批次中的困难样本，解决多分类任务的不平衡样本。
需要说明的是，所述高维特征的长度是128。
需要进一步说明的是，所述步骤S1中，特征提取网络中，第一个stage将原图先通过一个步幅为2的7x7的卷积以及一个2x2的最大池化层，得到原图1/4大小的特征图；而后的3个stage，都是用3x3步幅为1的卷积核，分别具有2、3、4个卷积层，每个stage最后都经过一个2x2的最大池化层；紧接最后一个stage是一个自适应平均池化层，它将128通道的特征图扁平化为128长度的特征，该特征经过同样128个神经元的全连接层后，得到最后的128维度的向量，即用于度量的高维特征。
优选的，4个stage的通道数分别为32、32、64、128。
需要进一步说明的是，所述步骤S2中特征内存大小在训练过程中是动态变化的，自适应算法将特征偏移大小作为参考量，当其增大时增大特征内存，反之减小特征内存，记录特征内存大小变化的历史，在每个迭代中，计算该特征内存的历史大小的平均值，作为获取对比特征的窗口大小。
需要进一步说明的是，所述步骤S3中的欧氏距离和余弦距离的公式如下：
Figure GDA0003007980690000081
Figure GDA0003007980690000082
其中x，y分别表示两个不同样本的128维的特征，xi，yi分别表示x，y特征的第i个分量。
需要进一步说明的是，所述步骤S4包括：
Figure GDA0003007980690000083
其中，N表示批次的大小。函数d表示公式1和2的双重相似度。A表示当前批次中与样本a类别相同的样本集合，NA表示该集合大小，
Figure GDA0003007980690000084
代表不同类别的样本。LA是集合A中与样本a距离最大的k个样本集合，而
Figure GDA0003007980690000085
表示集合
Figure GDA0003007980690000086
中与样本a距离最小的k个样本集合。
实施例1
(1)对目标图像进行特征提取网络生成高维特征，生成128长度的高维特征，考虑到工业上快速检测的要求以及对比的公平性，本发明设计了一个轻量级的特征提取网络，如表1所示：
Figure GDA0003007980690000091
在本步骤提出的网络结构中，第一个stage将原图先通过一个步幅为2的7x7的卷积以及一个2x2的最大池化层，得到原图1/4大小的特征图；之后的3个stage，都是用3x3步幅为1的卷积核，分别具有2、3、4个卷积层，每个stage最后都经过一个2x2的最大池化层。4个stage的通道数分别为32、32、64、128，紧接最后一个stage是一个自适应平均池化层，它将128通道的特征图扁平化为128长度的特征，该特征经过同样128个神经元的全连接层后，得到最后的128维度的向量，即用于度量的高维特征。最后，使用一个长度为2(类别数)的线性层作为简单的分类器。
(2)将特征提取网络提取到的特征添加到自适应特征内存(AEMM)，根据特征偏移值调整特征内存大小并记录内存大小的改变历史，在每个迭代中，将特征内存大小的改变历史均值作为获取旧特征数量的参考值，具体的算法流程如图2中所示。
进一步的，步骤2的算法原理是在工业表面缺陷检测任务中，训练的初期分类的损失总是首先被最小化，到了中期才开始优化对比损失。这说明在前面的迭代中可以缓慢地增加特征内存的大小，这会增加对比损失并且给分类器增加更多的不确定性，提高分类器的鲁棒性。在训练的中后期，需要谨慎地设置特征内存的起始迭代以及大小。提出的自适应算法将特征偏移大小作为参考量，当其增大时增大特征内存，反之减小特征内存，记录特征内存大小变化的历史。在每个迭代中，计算该特征内存的历史大小的平均值，作为获取对比特征的窗口大小。
(3)在上一步获取到充分的对比样本对后，同时计算欧氏距离和余弦距离的双相似性度量(DSM)来度量不同样本的特征相似性，两个距离的计算公式如下：
Figure GDA0003007980690000101
Figure GDA0003007980690000102
其中x，y分别表示两个不同样本的128维的特征，xi，yi分别表示x，y特征的第i个分量。
通常单个相似性度量只能学习单一的高维空间特征。在度量学习领域已经证明，通过分割高维特征空间并在多个子空间中学习，模型可以学习更多判别性特征。因此本发明提出在基于度量学习的工业缺陷检测方法中，使用双重相似度度量样本的相似性。双重相似性度量使特征学习受两个距离函数的约束，这等效于将高维特征空间分为两个部分进行学习。与其他基于单一相似性的基于度量学习的工业缺陷检测方法相比，双重相似性度量可以学习更多的紧凑和区分性特征，提高了分类器区分硬难分样本的能力。
(4)提出使用前k难单中心聚类的三元组损失，每次迭代中充分挖掘训练批次中的困难样本，解决多分类任务的不平衡样本问题：
Figure GDA0003007980690000111
其中N表示批次的大小。函数d表示公式1和2的双重相似度。A表示当前批次中与样本a类别相同的样本集合，NA表示该集合大小，
Figure GDA0003007980690000112
代表不同类别的样本。LA是集合A中与样本a距离最大的k个样本集合，而
Figure GDA0003007980690000113
表示集合
Figure GDA0003007980690000114
中与样本a距离最小的k个样本集合。
需要指出的是，为了说明本发明步骤2提出的自适应算法的有效性，可将特征内存的起始时间分别设置为20、40和60，并评估不同特征内存大小下缺陷检测的准确性，如图3所示。可以看出，太大或太小的内存大小可能会降低精度。此外，在不同的起始迭代，结果也是不一致的。必须手动调整合适的值，并针对不同的数据集重新调节这两个超参数，这大大增加了缺陷检测算法的学习时间。从图2中可以看出，本发明提出的自适应算法能实现一个较高的精度，自适应特征内存结构实现了动态地跨批次挖掘难分样本。
需要进一步指出的是，由于工业表面的数据通常是不平衡的，如图4所示，本发明先预训练一个正常样本和缺陷样本的分类网络，然后再微调做缺陷多分类任务，这一定程度上缓解了数据不平衡问题。在预训练时，在数据不平衡数据下对正常样本和缺陷样本实施聚类，会导致下游的缺陷多分类任务精度降低，这是因为混合的每个类缺陷样本太少并且每种缺陷尺度不一致，如图5所示，可以看出(b)中所有种类的缺陷样本被聚集，这会形成一个对于多分类任务来说较差的特征空间，强行缩小不同缺陷样本类别在特征空间中的距离，尽管能在二分类任务中得到一个较好的决策边界和分类精度，但会降低二分类任务预训练在下游任务中的表现。因此，本发明提出使用单中心聚类的三元组损失来解决这个问题，具体做法是在三元组损失中，只使用正常样本作为锚计算对比损失和难分样本挖掘。
实施例2
可以通过以下实验对本发明的效果进一步说明。
数据集：
(1)DAGM数据集包含10类不同背景的图像，一般前6类用于算法开发工作。每种背景均包含以灰度8位PNG格式保存的1000个“无缺陷”图像和150个“有缺陷”图像。每张图像大小为512x512，弱标签以椭圆形表示，大致表示缺陷区域。
(2)MT数据集总共采样了1344张图像，并裁剪了相关磁砖表面的ROI，包含大量正常图像与气孔，裂纹，磨损，断裂，不均匀(研磨不均匀)和自由(无缺陷)6种缺陷图像。我们随机地将所有缺陷图像等分成两部分，分别作为训练集和测试集；从正常图像中抽取相同数量的样本作为测试，剩余的用于训练，如表2所示。
(3)KolektorSDD数据集包含399张512x1408大小的电子转换器表面图像，其中52张缺陷图像，剩余的为无缺陷图像。该数据集的特点是缺陷区域占比很小，缺陷样本少，正负样本极其不平衡。遵循Tabernik的工作，随机从缺陷图像中选择30张和60％的正常图像作为训练集，剩余的图像作为测试集。
实验配置：在训练模型时，使用Adam优化器，最小批次大小为32，初始学习率设置为0.0008，参数衰减设置为0.0001，学习率在30、60和100个epoch后除以10，对比损失的margin值设置为0.5，我们在1张NVIDIA GeForce GTX 1080GPU上训练了200个epoch。DAGM数据集的输入图像大小为512x512；MT数据集的输入图像大小为512x512；KolektorSDD输入图像大小为512x1408。所有不符合大小的图像都使用双线性插值的方法进行了缩放，并且输入图像的每个通道都经过了均值为0、方差为0.5的归一化。
评估指标：使用TPR(缺陷样本的分类准确率)、TNR(正常样本的分类准确率)、R(平均识别率)三个评估指标，公式如下。为了更具体地评价分类器的性能，还会使用AP(平均准确率)值作为评估指标。
Figure GDA0003007980690000131
Figure GDA0003007980690000132
Figure GDA0003007980690000133
实验结果：
1、表3在DAGM数据集上的各种最新方法进行了比较，可以看到，提出的方法仅使用0.66M的网络就可以实现最高的分类精度，最终的R指标可以达到99.90％，比Lin等人的使用精心设计的mobilenet-v2-dense网络实现的99.77％结果更好。
表3在DAGM数据集上与最先进的方法比较结果
Figure GDA0003007980690000141
2、遵循Tabernik工作中的标准设置进行公平比较，并将本发明提出的方法与KolektorSDD数据集上提到的最新方法进行比较。从表4可以看出，提出的方法实现了零漏检和零误检，达到了100％的AP，这比Tabemik的99.9％和其他基于分割的多任务的方法更好，包括商业软件CognexViDi Suite，DeepLab v3+和U-Net。
表4在KolektorSDD数据集上与其他多任务学习方法的比较结果
Method AP(％) FP FN 参数量(M)
Ours 100 0 0 0.7
Tabernik 99.9 0 1 15.7
Cognex ViDi Suite 96.8 0 5 -
DeepLab v3+ 98 2 4 41.1
U-Net 96.1 5 4 31.1
3、如表5所示，对于DAGM2类数据集，与单独使用欧式距离的结果相比，DSM的TPR增加3.6％。使用AEMM后，该数据集可以达到100％的分类精度。在KolektorSDD数据集上，DSM模块提高了难分缺陷样品的可识别性，使分类精度达到100％，并且TPR比仅使用单个欧式距离度量高4.5％。在MT数据集上，DSM将TPR和TNR的性能与欧几里得距离相比分别提高了2％和3.2％，与余弦距离相比分别提高了0.5％和3.2％。值得注意的是，AEMM模块将TNR和TNR的性能提高了2.1％和将TPR降低1％。
表5在三个数据集上的消融实验
Figure GDA0003007980690000151
4、从表6可以看出，使用双中心聚类k难损失可以在二分类得到更好的精度，但是它在缺陷多分类任务中准确率相比单中心聚类的方法有所下降。
表6双中心聚类和单中心聚类的k难三元组损失在不同分类任务中的结果。
二分类准确率(％) 多分类准确率(％)
双中心聚类 94.04 91.21
单中心聚类 93.14 93.44
最后，如图6所示，显示了所提出的模块在区分许多难分样本方面的有效性，其中，结果以虚线突出显示，错误分类结果以实线突出显示。第一行的前三张图像显示某些缺陷样本与正常样本非常相似，第二行显示正常样本存在着与缺陷相似的某些不规则区域，但这些区域不是工业上定义的缺陷。提出的方法训练的模型可以对它们进行正确分类，并且本发明的方法只使用0.66M参数量的特征网络便可达到最好的结果，在精度和速度上都达到了工业上实时性的要求。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变，而所有的这些改变，都应该包括在本发明权利要求的保护范围之内。

Claims (4)

1.基于度量学习的解决难分不平衡样本的表面缺陷检测方法，其特征在于，所述方法包括以下步骤：
S1对目标图像进行特征提取网络生成高维特征；
S2将特征提取网络提取到的特征添加到自适应特征内存，特征内存大小在训练过程中是动态变化的，自适应算法将特征偏移大小作为参考量，当其增大时增大特征内存，反之减小特征内存，记录特征内存大小变化的历史，在每个迭代中，计算该特征内存的历史大小的平均值，作为获取对比特征的窗口大小，在每个迭代中，将特征内存大小的改变历史均值作为获取旧特征数量的参考值；
S3在上一步获取到充分的对比样本对后，同时计算欧氏距离和余弦距离的双相似性度量来度量不同样本的特征相似性；
S4使用前k难单中心聚类的三元组损失，每次迭代中充分挖掘训练批次中的困难样本，解决多分类任务的不平衡样本，所述前k难单中心聚类的三元组损失的计算公式如下所示：
Figure FDA0004002678060000011
其中，N表示批次的大小，函数d表示欧氏距离公式和余弦距离公式之和的双重相似度，A表示当前批次中与样本a类别相同的样本集合，NA表示该集合大小，
Figure FDA0004002678060000012
代表不同类别的样本，LA是集合A中与样本a距离最大的k个样本集合，而
Figure FDA0004002678060000013
表示集合
Figure FDA0004002678060000014
中与样本a距离最小的k个样本集合。
2.根据权利要求1的基于度量学习的解决难分不平衡样本的表面缺陷检测方法，其特征在于，所述步骤S1中，特征提取网络中，第一个stage将原图先通过一个步幅为2的7x7的卷积以及一个2x2的最大池化层，得到原图1/4大小的特征图；而后的3个stage，都是用3x3步幅为1的卷积核，分别具有2、3、4个卷积层，每个stage最后都经过一个2x2的最大池化层；紧接最后一个stage是一个自适应平均池化层，它将128通道的特征图扁平化为128长度的特征，该特征经过同样128个神经元的全连接层后，得到最后的128维度的向量，即用于度量的高维特征。
3.根据权利要求1或2所述的基于度量学习的解决难分不平衡样本的表面缺陷检测方法，其特征在于，提出的网络在训练的初期，分类的损失总是首先被最小化，到中期才开始优化对比损失，这说明在前面的迭代中缓慢地增加特征内存的大小，这会增加对比损失并且给分类器增加更多的不确定性，提高分类器的鲁棒性，在训练的中后期，需要谨慎地设置特征内存的起始迭代以及大小。
4.根据权利要求1所述的基于度量学习的解决难分不平衡样本的表面缺陷检测方法，其特征在于，所述步骤S3中的欧氏距离和余弦距离的公式如下：
Figure FDA0004002678060000021
Figure FDA0004002678060000022
其中x,y分别表示两个不同样本的128维的特征，xi,yi分别表示x,y特征的第i个分量。
CN202110116473.8A 2021-01-28 2021-01-28 基于度量学习的解决难分不平衡样本的表面缺陷检测方法 Active CN112862767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110116473.8A CN112862767B (zh) 2021-01-28 2021-01-28 基于度量学习的解决难分不平衡样本的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110116473.8A CN112862767B (zh) 2021-01-28 2021-01-28 基于度量学习的解决难分不平衡样本的表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112862767A CN112862767A (zh) 2021-05-28
CN112862767B true CN112862767B (zh) 2023-02-24

Family

ID=75987061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110116473.8A Active CN112862767B (zh) 2021-01-28 2021-01-28 基于度量学习的解决难分不平衡样本的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112862767B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113716146B (zh) * 2021-07-23 2023-04-07 武汉纺织大学 基于深度学习的纸巾产品包装检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
a fast button surface defect detection method based on siamese network with imbalanced samples;songlin wu et al;《multimedia tools and applications》;20191231;34627-34648 *
基于改进困难三元组损失的跨模态行人重识别框架;李灏等;《计算机科学》;20201015(第10期);188-194 *

Also Published As

Publication number Publication date
CN112862767A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Li et al. SAR image change detection using PCANet guided by saliency detection
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
CN103593670B (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN112528928B (zh) 一种基于自注意力深度网络的商品识别方法
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN115311270A (zh) 一种塑料制品表面缺陷检测方法
CN109785366B (zh) 一种针对遮挡的相关滤波目标跟踪方法
CN115147409B (zh) 基于机器视觉的手机壳生产品质检测方法
CN114972356B (zh) 塑料制品表面缺陷检测识别方法及系统
CN107622277A (zh) 一种基于贝叶斯分类器的复杂曲面缺陷分类方法
CN111814852A (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN110008920A (zh) 一种人脸表情识别方法研究
CN117576079A (zh) 一种工业产品表面异常检测方法、装置及系统
CN116129242A (zh) 一种基于改进YOLOv4铝材表面缺陷识别方法
CN112862767B (zh) 基于度量学习的解决难分不平衡样本的表面缺陷检测方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN103942526B (zh) 一种离散数据点集的线特征提取方法
CN102663681A (zh) 基于排序k-均值算法的灰度图像分割方法
CN117522864B (zh) 基于机器视觉的欧松板表面瑕疵检测方法
CN104915951A (zh) 一种点刻式dpm二维码区域定位方法
CN114841992A (zh) 基于循环生成对抗网络和结构相似性的缺陷检测方法
CN112633327B (zh) 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
CN116935373A (zh) 多类型车牌识别模型的训练方法、装置、设备及存储介质
CN114937042B (zh) 基于机器视觉的塑料制品质量评估方法
CN109063749B (zh) 一种基于角点辐射域的鲁棒卷积核数量适配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared