CN114627383A - 一种基于度量学习的小样本缺陷检测方法 - Google Patents

一种基于度量学习的小样本缺陷检测方法 Download PDF

Info

Publication number
CN114627383A
CN114627383A CN202210517000.3A CN202210517000A CN114627383A CN 114627383 A CN114627383 A CN 114627383A CN 202210517000 A CN202210517000 A CN 202210517000A CN 114627383 A CN114627383 A CN 114627383A
Authority
CN
China
Prior art keywords
data set
defect
sample
small sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210517000.3A
Other languages
English (en)
Other versions
CN114627383B (zh
Inventor
汪俊
单忠德
花诗燕
李大伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210517000.3A priority Critical patent/CN114627383B/zh
Publication of CN114627383A publication Critical patent/CN114627383A/zh
Application granted granted Critical
Publication of CN114627383B publication Critical patent/CN114627383B/zh
Priority to US18/316,326 priority patent/US11823425B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于度量学习的小样本缺陷检测方法，包括步骤（1）：通过G2‑GAN对抗网络对小样本缺陷数据集进行数据增强；步骤（2）：基于卷积核自适应的卷积神经网络SKM‑CNN提取与待检测小样本缺陷数据集相似的缺陷数据集的特征，生成预训练模型；步骤（3）：将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位。本发明快速、高效地完成缺陷检测，解决了样本数据缺乏情况下训练出的模型检测精度低、可靠性低、过拟合等问题。

Description

一种基于度量学习的小样本缺陷检测方法
技术领域
本发明属于大型装配部件缺陷检测技术领域，具体涉及一种基于度量学习的小样本缺陷检测方法。
背景技术
目前计算机视觉的三大任务包括检测、分类和分割，其都是基于大量标注的图像来实施的，深度学习算法具有通用性好、检测精度高、鲁棒性强、泛化能力好等优点。航空、航天、航海（“三航”）大型高端装备是国防安全保障，是我国装备制造业的重要组成部分，高端装备的产品质量直接影响最终作战性能与国际竞争力。
大型装配部件表面自动化缺陷检测对保证高端装备正常工作具有重大的意义，但在实际应用场景中经常出现数据采集过程困难、缺陷数据少等情况，导致大型装配部件上的缺陷检测进度慢、精度低等问题，严重影响了大型装配部件的装配速度和高端装备的安全性能。
人类双眼通过对事物的认知逐步形成丰富的先验知识，在面对新事物时快速通过极少的脑力活动即可判断新事物的类型。同理，通过少量数据获得具有强泛化能力的优良模型，是目前深度学习亟需解决的现实问题。
缺陷严重影响了高端装备的安全性能和使用期限。目视检测方法工作量大、耗时长、效率低、易受主观经验影响，会额外引入许多人为检测误差。该方法难以确保缺陷检测的高效性、准确性，为后续大型装配部件的装配速度带来了不可控制因素，高端装备质量也会受到一定程度的影响。
在深度学习之前，缺陷检测算法常采用手动提取特征的方式，这种方式表现出效率低、提取后的特征不准确、智能化程度低等缺点，使得模型的实用性和泛化性大打折扣。深度学习算法依赖于大量的可训练数据，小样本数据集背景下深度学习算法不能发挥其真正的作用。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于度量学习的小样本缺陷检测方法，使用基于度量学习的小样本缺陷检测方法在小样本情况下完成大型装配部件细微缺陷检测任务，提高了缺陷检测的精度、速度和智能化程度，是一种快速、高效、智能的处理方式。
为实现上述技术目的，本发明采取的技术方案为：
一种基于度量学习的小样本缺陷检测方法，包括：
步骤（1）：通过G2-GAN对抗网络对小样本缺陷数据集进行数据增强；
步骤（2）：基于卷积核自适应的卷积神经网络SKM-CNN提取与待检测小样本缺陷数据集相似的缺陷数据集的特征，生成预训练模型；
步骤（3）：将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤（1）中通过G2-GAN对小样本缺陷数据集进行数据增强，具体包括：
步骤（1.1）：在GAN的基础上改进得到G2-GAN网络，所述G2-GAN网络包括第一生成器G、第二生成器G和判别器D；
将小样本缺陷数据集作为真实样本集T，对随机产生的制造样本添加随机噪声后，生成最初的制造样本C1；
步骤（1.2）：通过第一生成器G对C1进行处理，生成粗加工后的制造样本C2；
步骤（1.3）：将真实样本集T经过N个卷积层、反残差模块交替组成的特征提取模块生成的特征图和C2同时输入第二生成器G，用真实样本的特征优化C2图像，得到精加工的制造样本C3；
步骤（1.4）：将C3与真实样本集T同时输入判别器D，判定C3是否是真实样本，若判定是，输出该样本，否则说明与真实样本相比C3的相似度欠缺，将其返回第一个生成器G，重复上述过程，直至判定为真。
上述的步骤（2）具体包括：
步骤（2.1）：寻找与待检测小样本缺陷数据集有相似缺陷的、公开的数据集作为辅助数据集；
步骤（2.2）：使用基于卷积核自适应的卷积神经网络提取辅助数据集的特征；
步骤（2.3）：保存预训练模型。
上述的步骤（2.2）包括：
1）使用一组“卷积层+SKM注意力模块+深度卷积”操作提取缺陷特征，其中的SKM注意力模块根据目标尺寸、距离不同自适应调节卷积核大小，使网络获得不同感受野信息，有利于辅助数据集的特征提取；
2）通过第一次和第二次上采样操作增加特征图的分辨率，提高最后输出的特征图的分辨率；
3）ROI池化层重复利用卷积神经网络CNN中产生的特征图，加速模型的训练和测试过程；
4）通过卷积层和全连接层对特征进行分类预测。
上述的步骤（2.2）中进行两次跳跃连接：将SKM注意力模块后的特征图融合到第二次上采样前，将第一次上采样前的特征图融合到ROI池化层后，使预训练模型保留足够的局部特征信息，提高模型的泛化性。
上述的步骤（3）中将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位，具体包括：
步骤（3.1）：将步骤（1）中数据增强后的数据集分为支撑图像数据集和查询图像数据集；
步骤（3.2）：目标特征提取，将步骤（2）中获得的预训练模型用于金字塔网络FPN中，通过高层特征上采样、低层特征进行自顶向下的连接以及对等层间的连接，使用三个不同的尺度空间学习缺陷特征，增强网络对不同尺度缺陷的感知能力，实现对目标特征的提取；
支撑图像数据集、查询图像数据集经过目标特征提取阶段产生类别特征和缺陷特征；
步骤（3.3）：计算类别特征和缺陷特征两种特征矩阵之间的距离，根据阈值判断是否为某类缺陷。若距离值在设定的阈值范围之类，标出小样本图像上缺陷位置。
本发明具有以下有益效果：
1、通过对抗网络扩充小数据集，增加小样本缺陷数据的多样性：
为解决网络在小样本数据集训练后易出现检测精度低、可靠性低、过拟合等现象，本发明引入了G2-GAN对抗网络，在GAN网络基础上引入真实样本信息，通过两个生成器加速制造样本的产生，对小样本缺陷集进行扩充，增加样本的多样性；
2、设计基于注意力机制的卷积神经网络训练与小样本具有共同特征的相似数据集，生成预训练模型，将其迁移学习后提升检测网络的精度：
使用基于卷积核自适应的的卷积神经网络SKM-CNN提取辅助数据集的特征，生成预训练模型。SKM注意力模块可以根据物体尺寸、与成像设备距离不同自适应调节卷积核大小，获得具有不同感受野的特征图。注意力模块加入后，使得网络自发地学习最佳的权值分布，有利于提高预训练模型的泛化能力；
3、使用一种先目标特征提取后度量学习的层次结构神经网络模型，可以快速、高效地完成缺陷检测，解决了样本数据缺乏情况下训练出的模型检测精度低、可靠性低、过拟合等问题：
引入基于度量学习的小样本缺陷检测网络S2D2N，加载上一步提到的预训练模型作为目标特征提取模块的第一步，经过目标特征提取模块后计算类别特征矩阵和缺陷特征矩阵之间的距离，根据距离判断缺陷类别并确定缺陷位置；
4、本发明可以实现小样本数据集情况下大型装配部件细微缺陷的高精准检测，降低人为主观性的干扰，这对于提升大型装配部件装配速度，保证高端装备稳定工作，减轻劳动人员工作强度有很大贡献。
附图说明
图1是基于度量学习的小样本缺陷检测流程；
图2是G2-GAN网络结构图；
图3是SKM-CNN网络结构图；
图4是S2D2N网络结构图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参阅图1-4，本发明提供一种基于度量学习的小样本缺陷检测方法，具体包括以下步骤：
步骤（1）：通过G2-GAN对抗网络对小样本缺陷数据集进行数据增强；
步骤（2）：基于卷积核自适应的卷积神经网络SKM-CNN提取与待检测小样本缺陷数据集相似的缺陷数据集（辅助数据集）的特征，生成预训练模型；
步骤（3）：将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位。
所述步骤（1）中通过G2-GAN对小样本缺陷数据集进行数据增强，具体包括：
步骤（1.1）：将小样本缺陷数据集作为真实样本集T，对随机产生的制造样本添加随机噪声后，生成最初的制造样本C1；
步骤（1.2）：通过生成器G对C1进行处理，生成粗加工后的制造样本C2；
步骤（1.3）：将真实样本集T经过N个卷积层、反残差模块交替组成的特征提取模块生成的特征图和C2同时输入生成器G，用真实样本的特征优化C2图像，得到精加工的制造样本C3；
步骤（1.4）：将C3与真实样本集T同时输入判别器D，判定C3是否是真实样本，若判定是，输出该样本，否则说明与真实样本相比C3的相似度欠缺，将其返回第一个生成器，重复上述过程，直至判定为真。
图2所示为G2-GAN网络结构， 它是在GAN的基础上改进的，文中所述生成器G和判别器D来自GAN。通过G2-GAN可以生成充足的“真实样本”，扩充小样本缺陷数据集。
所述步骤（2）中基于卷积核自适应的卷积神经网络SKM-CNN提取相似缺陷数据集的特征、生成预训练模型的过程，具体包括：
步骤（2.1）：寻找与待检测小样本缺陷数据集有相似缺陷的、公开的数据集作为辅助数据集，要求两类数据集含有明显的共同特征；
步骤（2.2）：使用基于卷积核自适应的卷积神经网络提取辅助数据集的特征：
首先使用一组“卷积+SKM+深度卷积”操作提取缺陷特征，SKM注意力模块根据目标尺寸、距离不同自适应调节卷积核大小，使网络获得不同感受野信息，有利于辅助数据集的特征提取。
与普通卷积操作同时考虑通道和空间上的卷积不同，深度卷积先进行空间上的卷积后进行通道上的，实现了通道和空间相关性的分离，增加了卷积的学习方式，同时减少了卷积过程中产生的参数量。
本网络通过两次上采样操作增加特征图的分辨率，提高最后输出的特征图的分辨率。ROI池化层重复利用卷积神经网络(CNN)中产生的特征图，加速模型的训练和测试过程。
最后通过卷积层和全连接层对特征进行分类预测。
为加强低层和高层特征间的融合，进行两次跳跃连接，将SKM注意力模块后的特征图融合到第二次上采样前，将第一次上采样前的特征图融合到ROI池化层后，使预训练模型保留足够的局部特征信息，提高模型的泛化性。
步骤（2.3）：保存预训练模型。
图3所示为SKM-CNN网络结构图。
所述步骤（3）中将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位，具体包括：
步骤（3.1）：将步骤（1）中数据增强后的数据集分为支撑图像数据集和查询图像数据集；
步骤（3.2）：目标特征提取，将步骤（2）中获得的预训练模型用于金字塔网络FPN中，通过高层特征上采样、低层特征进行自顶向下的连接以及对等层间的连接，使用三个不同的尺度空间学习缺陷特征，增强网络对不同尺度缺陷的感知能力，实现对目标特征的高效提取；
支撑图像数据集、查询图像数据集经过目标特征提取阶段产生类别特征和缺陷特征；
步骤（3.3）：计算类别特征和缺陷特征两种特征矩阵之间的距离，根据阈值判断是否为某类缺陷。若距离值在设定的阈值范围之类，标出小样本图像上缺陷位置。
采用先目标特征提取后度量学习的方法提高缺陷检出率。
图4所示为S2D2N网络结构图。
综上所述，本发明具有如下有益效果：
1、通过对抗网络扩充小数据集，增加小样本缺陷数据的多样性：
为解决网络在小样本数据集训练后易出现检测精度低、可靠性低、过拟合等现象，本发明引入了G2-GAN对抗网络，在GAN网络基础上引入真实样本信息，通过两个生成器加速制造样本的产生，对小样本缺陷集进行扩充，增加样本的多样性；
2、设计基于注意力机制的卷积神经网络训练与小样本具有共同特征的相似数据集，生成预训练模型，将其迁移学习后提升检测网络的精度：
使用基于卷积核自适应的的卷积神经网络SKM-CNN提取辅助数据集的特征，生成预训练模型。SKM注意力模块可以根据物体尺寸、与成像设备距离不同自适应调节卷积核大小，获得具有不同感受野的特征图。注意力模块加入后，使得网络自发地学习最佳的权值分布，有利于提高预训练模型的泛化能力；
3、使用一种先目标特征提取后度量学习的层次结构神经网络模型，可以快速、高效地完成缺陷检测，解决了样本数据缺乏情况下训练出的模型检测精度低、可靠性低、过拟合等问题：
引入基于度量学习的小样本缺陷检测网络S2D2N，加载上一步提到的预训练模型作为目标特征提取模块的第一步，经过目标特征提取模块后计算类别特征矩阵和缺陷特征矩阵之间的距离，根据距离判断缺陷类别并确定缺陷位置；
4、本发明可以实现小样本数据集情况下大型装配部件细微缺陷的高精准检测，降低人为主观性的干扰，这对于提升大型装配部件装配速度，保证高端装备稳定工作，减轻劳动人员工作强度有很大贡献。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.一种基于度量学习的小样本缺陷检测方法，其特征在于，包括：
步骤（1）：通过G2-GAN对抗网络对小样本缺陷数据集进行数据增强；
步骤（2）：基于卷积核自适应的卷积神经网络SKM-CNN提取与待检测小样本缺陷数据集相似的缺陷数据集的特征，生成预训练模型；
步骤（3）：将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位。
2.根据权利要求1所述的一种基于度量学习的小样本缺陷检测方法，其特征在于，所述步骤（1）中通过G2-GAN对小样本缺陷数据集进行数据增强，具体包括：
步骤（1.1）：在GAN的基础上改进得到G2-GAN网络，所述G2-GAN网络包括第一生成器G、第二生成器G和判别器D；
将小样本缺陷数据集作为真实样本集T，对随机产生的制造样本添加随机噪声后，生成最初的制造样本C1；
步骤（1.2）：通过第一生成器G对C1进行处理，生成粗加工后的制造样本C2；
步骤（1.3）：将真实样本集T经过N个卷积层、反残差模块交替组成的特征提取模块生成的特征图和C2同时输入第二生成器G，用真实样本的特征优化C2图像，得到精加工的制造样本C3；
步骤（1.4）：将C3与真实样本集T同时输入判别器D，判定C3是否是真实样本，若判定是，输出该样本，否则说明与真实样本相比C3的相似度欠缺，将其返回第一个生成器G，重复上述过程，直至判定为真。
3.根据权利要求1所述的一种基于度量学习的小样本缺陷检测方法，其特征在于，所述步骤（2）中基于卷积核自适应的卷积神经网络SKM-CNN提取与待检测小样本缺陷数据集相似的缺陷数据集的特征，生成预训练模型，具体包括：
步骤（2.1）：寻找与待检测小样本缺陷数据集有相似缺陷的、公开的数据集作为辅助数据集；
步骤（2.2）：使用基于卷积核自适应的卷积神经网络SKM-CNN提取辅助数据集的特征；
步骤（2.3）：保存预训练模型。
4.根据权利要求3所述的一种基于度量学习的小样本缺陷检测方法，其特征在于，所述步骤（2.2）包括：
1）使用一组“卷积层+SKM注意力模块+深度卷积”操作提取缺陷特征，其中的SKM注意力模块根据目标尺寸、距离不同自适应调节卷积核大小，使网络获得不同感受野信息，有利于辅助数据集的特征提取；
2）通过第一次和第二次上采样操作增加特征图的分辨率，提高最后输出的特征图的分辨率；
3）ROI池化层重复利用卷积神经网络CNN中产生的特征图，加速模型的训练和测试过程；
4）通过卷积层和全连接层对特征进行分类预测。
5.根据权利要求3所述的一种基于度量学习的小样本缺陷检测方法，其特征在于，所述步骤（2.2）中使用基于卷积核自适应的卷积神经网络SKM-CNN提取辅助数据集的特征时进行两次跳跃连接：将SKM注意力模块后的特征图融合到第二次上采样前，将第一次上采样前的特征图融合到ROI池化层后，使预训练模型保留足够的局部特征信息，提高模型的泛化性。
6.根据权利要求1所述的一种基于度量学习的小样本缺陷检测方法，其特征在于，所述步骤（3）中将预训练模型迁移到基于度量学习的小样本缺陷检测网络S2D2N中，以先目标特征提取后度量学习的方式实现缺陷的快速识别与定位，具体包括：
步骤（3.1）：将步骤（1）中数据增强后的数据集分为支撑图像数据集和查询图像数据集；
步骤（3.2）：目标特征提取，将步骤（2）中获得的预训练模型用于金字塔网络FPN中，通过高层特征上采样、低层特征进行自顶向下的连接以及对等层间的连接，使用三个不同的尺度空间学习缺陷特征，增强网络对不同尺度缺陷的感知能力，实现对目标特征的提取；
支撑图像数据集、查询图像数据集经过目标特征提取阶段产生类别特征和缺陷特征；
步骤（3.3）：计算类别特征和缺陷特征两种特征矩阵之间的距离，根据阈值判断是否为某类缺陷；若距离值在设定的阈值范围之类，标出小样本图像上缺陷位置。
CN202210517000.3A 2022-05-13 2022-05-13 一种基于度量学习的小样本缺陷检测方法 Active CN114627383B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210517000.3A CN114627383B (zh) 2022-05-13 2022-05-13 一种基于度量学习的小样本缺陷检测方法
US18/316,326 US11823425B2 (en) 2022-05-13 2023-05-12 Few-shot defect detection method based on metric learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210517000.3A CN114627383B (zh) 2022-05-13 2022-05-13 一种基于度量学习的小样本缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114627383A true CN114627383A (zh) 2022-06-14
CN114627383B CN114627383B (zh) 2022-08-02

Family

ID=81907367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210517000.3A Active CN114627383B (zh) 2022-05-13 2022-05-13 一种基于度量学习的小样本缺陷检测方法

Country Status (2)

Country Link
US (1) US11823425B2 (zh)
CN (1) CN114627383B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410083A (zh) * 2022-08-24 2022-11-29 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
WO2024000420A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 缺陷检测方法和装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392545B (zh) * 2023-10-26 2024-02-09 南昌航空大学 一种基于深度学习的sar图像目标检测方法
CN117496243B (zh) * 2023-11-06 2024-05-31 南宁师范大学 基于对比学习的小样本分类方法及系统
CN117541555A (zh) * 2023-11-16 2024-02-09 广州市公路实业发展有限公司 一种道路路面病害检测方法及系统
CN117911840A (zh) * 2024-03-20 2024-04-19 河南科技学院 一种用于滤网表面缺陷检测的深度学习方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376578A (zh) * 2018-08-27 2019-02-22 杭州电子科技大学 一种基于深度迁移度量学习的小样本目标识别方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216927B2 (en) * 2017-03-16 2022-01-04 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
JP7349816B2 (ja) * 2019-05-16 2023-09-25 株式会社キーエンス 画像検査装置
CN111461244A (zh) * 2020-04-09 2020-07-28 武汉大学 一种基于SimpleShot的One-Shot学习新方法
CN113435509B (zh) * 2021-06-28 2022-03-25 山东力聚机器人科技股份有限公司 基于元学习的小样本场景分类识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376578A (zh) * 2018-08-27 2019-02-22 杭州电子科技大学 一种基于深度迁移度量学习的小样本目标识别方法
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAO TANG等: "Dual Generator Generative Adversarial Networks for Multi-Domain Image-to-Image Translation", 《HTTPS://ARXIV.ORG/PDF/1901.04604.PDF》 *
黄健 等: "基于小样本度量迁移学习的表面缺陷检测", 《模式识别与人工智能》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000420A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 缺陷检测方法和装置
CN115410083A (zh) * 2022-08-24 2022-11-29 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置
CN115410083B (zh) * 2022-08-24 2024-04-30 南京航空航天大学 一种基于对抗域适应的小样本sar目标分类方法及装置

Also Published As

Publication number Publication date
CN114627383B (zh) 2022-08-02
US11823425B2 (en) 2023-11-21
US20230281972A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
WO2020046213A1 (en) A method and apparatus for training a neural network to identify cracks
CN113408423B (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN110532946B (zh) 一种基于卷积神经网络识别绿通车车辆轴型的方法
CN112037219A (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN113469951B (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN116258707A (zh) 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法
CN112465057B (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN116245826A (zh) 一种基于dcgan的零件表面缺陷检测方法
CN114581782A (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN113379737A (zh) 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN117788472B (zh) 一种基于dbscan算法的飞机蒙皮表面铆钉腐蚀程度判断的方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN114187272A (zh) 一种基于深度学习的工业零件表面缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Jun

Inventor after: Hua Shiyan

Inventor after: Shan Zhongde

Inventor after: Li Dawei

Inventor before: Wang Jun

Inventor before: Shan Zhongde

Inventor before: Hua Shiyan

Inventor before: Li Dawei

CB03 Change of inventor or designer information