CN114140398A - 一种利用无缺陷图像的少样本缺陷检测方法 - Google Patents

一种利用无缺陷图像的少样本缺陷检测方法 Download PDF

Info

Publication number
CN114140398A
CN114140398A CN202111348548.1A CN202111348548A CN114140398A CN 114140398 A CN114140398 A CN 114140398A CN 202111348548 A CN202111348548 A CN 202111348548A CN 114140398 A CN114140398 A CN 114140398A
Authority
CN
China
Prior art keywords
defect
feature
defects
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111348548.1A
Other languages
English (en)
Inventor
陈朝
刘志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202111348548.1A priority Critical patent/CN114140398A/zh
Publication of CN114140398A publication Critical patent/CN114140398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种利用无缺陷图像来增强缺陷区域特征的少样本缺陷检测方法，对缺陷图像数据集进行处理，将所有类别的缺陷划分为基础类与新类，按照随机选取的原则为新类选定少量样本；构建少样本缺陷检测的深度学习网络，输入的缺陷图像及无缺陷图像经过多层卷积特征提取以及特征融合后，得到输入图像的缺陷区域特征增强的特征图，再对其进行分类和边框回归计算即可得到缺陷的类别及位置；将处理好的训练数据输入构建的深度学习网络训练；利用训练好的模型对测试数据进行实验，基础类的测试实验只需要输入缺陷图像，即可得到该缺陷的类别和位置信息，而新类的测试实验需要同时输入少量缺陷图像和无缺陷图像，得到该缺陷的类别和位置信息。

Description

一种利用无缺陷图像的少样本缺陷检测方法
技术领域
本发明涉及一种少样本缺陷检测方法，旨在利用生产过程中较易获得的无缺陷图像来提升少样本缺陷检测的效果。
背景技术
在工业制造领域，如何在生产过程中准确检测出产品的表面缺陷对于产品的质量控制有着重大意义。只有不断地提高产品质量，才能获得用户的青睐，才能提高市场占有率。近几年，深度学习技术在智能制造领域崭露头角，其利用大量数据可以训练出用于缺陷检测的模型，大大提高了缺陷检测的准确率。在实际的生产过程中，产品出现缺陷的比率其实非常低，上百万张图像中仅能挑选出几千张缺陷图像。对于一些较为罕见的缺陷，往往只能收集到几十张缺陷图像。然而，在训练深度模型的时候，若要取得较好的检测性能，一般需要足够数量的样本且各类样本数量均衡。如果只用很少的缺陷样本参与训练，模型就会过拟合，对这类缺陷的检测性能也会急剧下降。少样本学习便是基于这种问题而提出的一种解决方案。少样本学习基于先验知识并利用从少量样本中学习的新知识来对模型微调，从而实现对于新样本的缺陷检测。近几年，少样本检测作为计算机视觉领域的一个新兴分支，逐渐引起了广泛关注。2019年，Kang等人基于单阶段检测模型提出了一个基于少样本学习的目标检测模型，将少量的样本通过一个重新加权模块来得到多个类别相关的特征向量，并与特征图逐通道相乘，之后进行分类和回归计算。Yan等人基于双阶段检测模型，并用骨干网络生成的特征向量与感兴趣区域特征图相乘并输入到检测器中，取得了不错的检测性能。但是，这些少样本检测模型针对的是日常生活的场景，并不适合直接应用到工业场景中。因此，有必要提出一种针对工业生产场景的基于少样本学习的缺陷检测模型以及一种少样本缺陷检测的训练策略。
发明内容
本发明的目的在于针对工业生产中罕见缺陷的数据不足且难以训练的情况，提供一种利用无缺陷图像的少样本缺陷检测方法，提出了缺陷增强模块，该模块可以利用工业生产中大量存在的无缺陷图像来增强缺陷区域的特征，仅利用少量样本即可达到良好的缺陷检测效果。本发明还提出了一种少样本缺陷检测的训练策略，将训练过程分为两个阶段，第一个阶段基于大量数据训练，得到一个预训练模型；第二个阶段仅用无缺陷样本和少量缺陷样本训练，对预训练模型进行微调，提升对新缺陷的检测效果。
为达到上述发明创造目的，本发明采用如下技术方案：
一种利用无缺陷图像的少样本缺陷检测方法，具体步骤如下：
(1)数据的预处理：
把公开数据集中的NEU钢铁数据集和MT磁瓦数据集用作少样本缺陷检测的数据集；其中，NEU数据集的5类缺陷数量充足且多样，适合作为训练集中的基础类，MT数据集的5类缺陷数量较少，适合作为训练集中的新类；
(2)构建利用无缺陷图像的少样本缺陷检测模型：
该模型主要包括一个基础类缺陷检测网络和一个新类缺陷检测网络，这两个网络共享特征提取网络和候选框提取网络的参数；以基础类缺陷、新类缺陷和无缺陷图像作为输入，经过特征提取、候选框提取、预测头重构网络、缺陷增强子网络以及特征融合操作，得到缺陷的类别信息和位置信息，作为整个网络的输出；
(3)利用步骤(1)中处理好的训练集，采用少样本缺陷检测的训练策略进行训练：
所述少样本缺陷检测模型的训练分为两个阶段：
第一个阶段用大量基础类缺陷图像来训练，获得一个预训练模型；
第二个阶段用无缺陷图像和少量新类缺陷图像来对预训练模型进行微调，提升模型对新类缺陷的检测性能；
其中，第一阶段的训练用的是NEU钢铁数据集，用其中的5类缺陷作为训练集；第二阶段的训练基于MT磁瓦数据集，用其中的5类缺陷以及无缺陷图像作为训练集；从训练集中随机选择10张无缺陷图像和每类k张缺陷图像即k-shot，k＝1,5,10，来微调模型，得到最终的缺陷检测模型；
(4)利用无缺陷图像的少样本缺陷检测：
测试的时候使用的是步骤(1)中处理好的数据集，需要将图像及其对应的标注文件输入步骤(3)中训练好的缺陷检测模型后，通过具体的缺陷特征提取和融合过程来进行缺陷检测；无论是基础类缺陷还是新类缺陷，都选择直接把缺陷图像输入到模型中，模型会导入训练好的模型参数，通过多重卷积运算获得缺陷检测结果。
优选地，所述步骤(4)中的缺陷特征提取和融合过程，具体步骤如下：
(4-1)特征提取网络：
特征提取网络基于ResNet-101，由卷积层、池化层、全连接层和Relu激活层组成；输入图像经过多层卷积计算后输出后续操作所需的多通道特征图；
(4-2)候选框提取网络：
以步骤(4-1)中输出的特征图作为候选框提取网络的输入，之后在这些特征图上通过滑动窗口和锚框机制来生成可能的缺陷区域；对于这些候选区域，需要应用非极大值抑制算法NMS，去除多余的候选区域；最后输出各个类别的感兴趣区域相关的特征图
Figure BDA0003355104190000031
类别总数为N；
(4-3)预测头重构网络：
基础类的预测头重构网络只需要输入缺陷图像，通过多重卷积运算获得各个类别的类别注意力特征向量
Figure BDA0003355104190000032
这些特征向量包含了输入图像的缺陷特征信息，用于生成类别相关的特征图；这个过程可用如下的公式表示：
Figure BDA0003355104190000033
其中，
Figure BDA0003355104190000034
表示特征向量与特征图的逐通道相乘；
新类的预测头重构网络需要同时输入无缺陷图像和少量缺陷图像；缺陷图像通过重构网络获得类别相关的特征向量
Figure BDA0003355104190000035
无缺陷图像通过重构网络获得无缺陷的特征向量vdf；通过这两种特征向量的相减操作，获得缺陷区域特征增强的特征向量
Figure BDA0003355104190000036
这个计算过程用公式表示为：
Figure BDA0003355104190000037
其中，λ是
Figure BDA0003355104190000038
的比例系数；参数λ的主要作用是减少无缺陷图像中的噪声对计算结果的干扰；之后，利用增强后的特征向量
Figure BDA0003355104190000039
与感兴趣区域相关的特征图
Figure BDA00033551041900000310
逐通道相乘可以获得缺陷区域特征增强的特征图，计算过程如下所示：
Figure BDA00033551041900000311
(4-4)特征融合：
将(4-3)中输出的类别相关的特征图
Figure BDA00033551041900000312
和缺陷区域特征增强的特征图
Figure BDA00033551041900000313
进行连接操作，实现特征的融合，经过全连接层之后，降低特征图的通道数，输出最终的特征图Fn；这个过程用如下的公式表示：
Figure BDA00033551041900000314
其中，fc表示全连接操作，⊙表示特征图的连接操作；
(4-5)分类和边框回归计算：
针对(4-4)中输出的特征图，用两个不同的分支分别做分类计算和边框回归计算；其中，分类计算的损失函数采用的是交叉熵损失函数，边框回归计算的损失函数采用的是平滑L1损失函数；利用这两个分支，获得目标缺陷的类别和位置信息并作为结果输出。
本发明利用步骤(3)中训练好的检测模型进行测试：无论是基础类缺陷还是新类缺陷，都可以选择直接把缺陷图像输入到模型中，模型会导入训练好的模型参数，通过多重卷积运算获得缺陷检测结果。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：
1.本发明方法针对工业生产中罕见缺陷难以收集且检测效果差的困境，提出利用容易收集的无缺陷图像来获取更多的缺陷区域的特征；这样做就可以只用少量的缺陷图像，借助少样本学习，实现对罕见缺陷的缺陷检测，为工业生产中的实际问题提出了解决方案；
2.本发明提出了缺陷增强模块，该模块可以利用工业生产中大量存在的无缺陷图像来增强缺陷区域的特征，仅利用少量样本即可达到良好的缺陷检测效果。
附图说明
图1是本发明的程序框图。
图2是本发明步骤(1)中处理好的输入图像及其对应的标签。
图3是本发明的用于基础类缺陷检测的网络流程图。
图4是本发明的用于新类缺陷检测的网络流程图。
图5是本发明的缺陷增强子网络的流程图。
图6是本发明在缺陷检测领域的公开数据集上取得的检测效果以及与其它方法的对比。
具体实施方式
下面结合附图对本发明的优选实施例作进一步详细说明。
实施例一：
参见图1，本实施例利用无缺陷图像的少样本缺陷检测方法，其特征在于，具体步骤如下：
(1)数据的预处理：
把公开数据集中的NEU钢铁数据集和MT磁瓦数据集用作少样本缺陷检测的数据集。其中，NEU数据集的5类缺陷数量充足且多样，适合作为训练集中的基础类，MT数据集的5类缺陷数量较少，适合作为训练集中的新类。
(2)构建利用无缺陷图像的少样本缺陷检测模型：
该模型主要包括一个基础类缺陷检测网络和一个新类缺陷检测网络，这两个网络共享特征提取网络和候选框提取网络的参数；以基础类缺陷、新类缺陷和无缺陷图像作为输入，经过特征提取、候选框提取、预测头重构网络、缺陷增强子网络以及特征融合操作，得到缺陷的类别信息和位置信息，作为整个网络的输出。
(3)利用步骤(1)中处理好的训练集，采用少样本缺陷检测的训练策略进行训练：
本少样本缺陷检测模型的训练分为两个阶段，第一个阶段用大量基础类缺陷图像来训练，获得一个预训练模型，第二个阶段用无缺陷图像和少量新类缺陷图像来对预训练模型进行微调，提升模型对新类缺陷的检测性能；其中，第一阶段的训练用的是NEU钢铁数据集，用其中的5类缺陷作为训练集；第二阶段的训练基于MT磁瓦数据集，用其中的5类缺陷以及无缺陷图像作为训练集；从训练集中随机选择10张无缺陷图像和每类k张缺陷图像即k-shot，k＝1,5,10，来微调模型，得到最终的缺陷检测模型；
(4)利用无缺陷图像的少样本缺陷检测：
测试的时候使用的是步骤(1)中处理好的数据集，需要将图像及其对应的标注文件输入步骤(3)中训练好的缺陷检测模型后，通过具体的缺陷特征提取和融合过程来进行缺陷检测。无论是基础类缺陷还是新类缺陷，都选择直接把缺陷图像输入到模型中，模型会导入训练好的模型参数，通过多重卷积运算获得缺陷检测结果。
本发明实施例方法针对工业生产中罕见缺陷难以收集且检测效果差的困境，提出利用容易收集的无缺陷图像来获取更多的缺陷区域的特征；这样做就可以只用少量的缺陷图像，借助少样本学习，实现对罕见缺陷的缺陷检测，为工业生产中的实际问题提出了解决方案
实施例二：
本实施例与实施例一基本相同，特别之处如下：
所述步骤(4)中的缺陷特征提取和融合过程，具体步骤如下：
(4-1)特征提取网络。
特征提取网络基于ResNet-101，由卷积层、池化层、全连接层和Relu激活层组成；输入图像经过多层卷积计算后输出后续操作所需的多通道特征图；
(4-2)候选框提取网络。
以步骤(4-1)中输出的特征图作为候选框提取网络的输入，之后在这些特征图上通过滑动窗口和锚框机制来生成可能的缺陷区域；对于这些候选区域，需要应用非极大值抑制算法NMS，去除多余的候选区域；最后输出各个类别的感兴趣区域相关的特征图
Figure BDA0003355104190000051
类别总数为N；
(4-3)预测头重构网络。
基础类的预测头重构网络只需要输入缺陷图像，通过多重卷积运算获得各个类别的类别注意力特征向量
Figure BDA0003355104190000061
这些特征向量包含了输入图像的缺陷特征信息，用于生成类别相关的特征图；这个过程可用如下的公式表示：
Figure BDA0003355104190000062
其中，
Figure BDA0003355104190000063
表示特征向量与特征图的逐通道相乘；
新类的预测头重构网络需要同时输入无缺陷图像和少量缺陷图像；缺陷图像通过重构网络获得类别相关的特征向量
Figure BDA0003355104190000064
无缺陷图像通过重构网络获得无缺陷的特征向量vdf；通过这两种特征向量的相减操作，获得缺陷区域特征增强的特征向量
Figure BDA0003355104190000065
这个计算过程用公式表示为：
Figure BDA0003355104190000066
其中，λ是
Figure BDA0003355104190000067
的比例系数；参数λ的主要作用是减少无缺陷图像中的噪声对计算结果的干扰；之后，利用增强后的特征向量
Figure BDA0003355104190000068
与感兴趣区域相关的特征图
Figure BDA0003355104190000069
逐通道相乘可以获得缺陷区域特征增强的特征图，计算过程如下所示：
Figure BDA00033551041900000610
(4-4)特征融合。
将(4-3)中输出的类别相关的特征图
Figure BDA00033551041900000611
和缺陷区域特征增强的特征图
Figure BDA00033551041900000612
进行连接操作，实现特征的融合，经过全连接层之后，降低特征图的通道数，输出最终的特征图Fn；这个过程用如下的公式表示：
Figure BDA00033551041900000613
其中，fc表示全连接操作，⊙表示特征图的连接操作；
(4-5)分类和边框回归计算。
针对(4-4)中输出的特征图，用两个不同的分支分别做分类计算和边框回归计算；其中，分类计算的损失函数采用的是交叉熵损失函数，边框回归计算的损失函数采用的是平滑L1损失函数；利用这两个分支，获得目标缺陷的类别和位置信息并作为结果输出。
本实施例利用训练好的模型对测试数据进行实验，基础类的测试实验只需要输入缺陷图像，即可得到该缺陷的类别和位置信息，而新类的测试实验需要同时输入少量缺陷图像和无缺陷图像，得到该缺陷的类别和位置信息。本实施例利用工业生产中大量存在的无缺陷图像来增强缺陷区域的特征，仅利用少量样本即可达到良好的缺陷检测效果。
实施例三：
本实施例进行的实验是在GPU型号为TitanXP，显存为12G的电脑测试平台上，基于Pytorch框架编程实现。
本实施例利用无缺陷图像的少样本缺陷检测方法，其具体步骤如下所述：
(1)首先将MT磁瓦数据集中的二值图转换为缺陷检测中需要的xml标注文件，之后把NEU钢铁数据集(5类，共1500张)和MT磁瓦数据集(5类，共587张，其中包含200张无缺陷图像)用作少样本缺陷检测的数据集进行处理。处理好后的数据集如图2所示。其中，NEU数据集由于其5类缺陷各有300张图像，适合作为基础类，用于第一阶段的训练，可获得预训练模型。而MT数据集由于其5类缺陷的数量较少，适合作为新类，用于第二阶段的训练，只利用无缺陷图像和少量缺陷图像来训练模型就可实现对新类缺陷的良好的检测效果。第二阶段训练过程中无缺陷图像的引入可以提高模型对新类缺陷的检测性能。
(2)构建一个利用无缺陷图像的少样本缺陷检测模型：
(2-1)该模型主要包括一个基础类缺陷检测网络和一个新类缺陷检测网络，这两个网络共享特征提取网络和候选框提取网络(即RPN)的参数，利用这两个网络可以同时实现对基础类缺陷和新类缺陷的检测。
(2-2)基础类缺陷检测网络：
如图3所示，该网络将基础类的缺陷图像作为输入，经过特征提取后，使用候选框提取网络来获取输入图像中的潜在缺陷区域，并利用预测头重构网络(PRN)得到每个基础类对应的类别注意力向量。之后将基础类的特征向量与特征图逐通道相乘，获得新的特征图，而后经过分类和边框回归计算，得到缺陷的类别信息和位置信息，作为整个网络的输出。
(2-3)新类缺陷检测网络：
如图4所示，该网络以无缺陷图像和新类的缺陷图像作为输入，经过特征提取、候选框提取、预测头重构网络和特征融合之后，获得特征图输出。与基础类缺陷检测网络不同的是，新类缺陷检测网络添加了一个缺陷增强子网络(如图5所示)。这个子网络可以同时利用无缺陷图像和少量的缺陷图像，通过预测头重构网络、特征向量相减操作以及将新类的特征向量与特征图逐通道相乘后，使得图像中缺陷区域的特征得到增强。之后将原来的特征图与经过缺陷增强子网络的特征图进行连接以实现特征融合，最后利用分类和边框回归计算来得到最终的检测结果并输出。
(3)利用步骤(1)中处理好的训练集，采用少样本缺陷检测的训练策略进行训练：
本发明的少样本缺陷检测模型的训练分为两个阶段，第一个阶段用大量基础类缺陷图像来训练(2-2)中的基础类缺陷检测网络，获得一个预训练模型，第二个阶段用无缺陷图像和少量新类缺陷图像来训练(2-3)中的新类缺陷检测网络，对预训练模型进行微调，提升模型对新类缺陷的检测性能。其中，第一阶段的训练用的是NEU钢铁数据集，用其中的5类缺陷(每类300张，共1500张)作为训练集，梯度下降算法为随机梯度下降，批尺寸(batchsize)设为8，学习率设为0.008，训练20epoch。直接将缺陷图像作为输入，将对应的xml标注文件作为标签，端到端的训练检测模型，使其自动学习到基础类缺陷的特征。第二阶段的训练基于MT磁瓦数据集，用其中的5类缺陷以及无缺陷图像作为训练集，批尺寸改为4，学习率不变。(其中缺陷图像共387张，无缺陷图像共200张)从训练集中随机选择10张无缺陷图像和每类k张缺陷图像(即k-shot，k＝1,5,10)来微调模型，最终得到一个收敛的缺陷检测模型。
(4)最后，利用步骤(3)中训练好的检测模型进行测试：
无论是基础类缺陷还是新类缺陷，都可以选择直接把缺陷图像输入到模型中，通过端到端的检测，模型会直接输出缺陷的类别和位置信息。图6展示的是不同的方法使用少样本训练策略之后，在同一个测试集上的部分测试结果。其中，图6的第一行是测试集的原始标注信息，最后一行是本发明的方法在该测试集上的表现。从图中可以看出，本发明的方法相比于别的方法准确率更高，几乎不会出现缺陷的漏检、误检的情况，且缺陷的类别信息和位置信息更加准确。
上述实施例利用无缺陷图像来增强缺陷区域特征的少样本缺陷检测方法，对缺陷图像数据集进行处理，将所有类别的缺陷划分为基础类与新类，按照随机选取的原则为新类选定少量样本；构建少样本缺陷检测的深度学习网络，输入的缺陷图像及无缺陷图像经过多层卷积特征提取以及特征融合后，得到输入图像的缺陷区域特征增强的特征图，之后对其进行分类和边框回归计算即可得到缺陷的类别及位置；将处理好的训练数据输入构建的深度学习网络训练，遵循少样本缺陷检测模型的训练策略，网络收敛后可得到一个训练好的少样本缺陷检测模型；利用训练好的模型对测试数据进行实验，基础类的测试实验只需要输入缺陷图像，即可得到该缺陷的类别和位置信息，而新类的测试实验需要同时输入少量缺陷图像和无缺陷图像，得到该缺陷的类别和位置信息。
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (2)

1.一种利用无缺陷图像的少样本缺陷检测方法，其特征在于，具体步骤如下：
(1)数据的预处理：
把公开数据集中的NEU钢铁数据集和MT磁瓦数据集用作少样本缺陷检测的数据集；其中，NEU数据集的5类缺陷数量充足且多样，适合作为训练集中的基础类，MT数据集的5类缺陷数量较少，适合作为训练集中的新类；
(2)构建利用无缺陷图像的少样本缺陷检测模型：
该模型主要包括一个基础类缺陷检测网络和一个新类缺陷检测网络，这两个网络共享特征提取网络和候选框提取网络的参数；以基础类缺陷、新类缺陷和无缺陷图像作为输入，经过特征提取、候选框提取、预测头重构网络、缺陷增强子网络以及特征融合操作，得到缺陷的类别信息和位置信息，作为整个网络的输出；
(3)利用步骤(1)中处理好的训练集，采用少样本缺陷检测的训练策略进行训练：
所述少样本缺陷检测模型的训练分为两个阶段：
第一个阶段用大量基础类缺陷图像来训练，获得一个预训练模型；
第二个阶段用无缺陷图像和少量新类缺陷图像来对预训练模型进行微调，提升模型对新类缺陷的检测性能；
其中，第一阶段的训练用的是NEU钢铁数据集，用其中的5类缺陷作为训练集；第二阶段的训练基于MT磁瓦数据集，用其中的5类缺陷以及无缺陷图像作为训练集；从训练集中随机选择10张无缺陷图像和每类k张缺陷图像即k-shot，k＝1,5,10，来微调模型，得到最终的缺陷检测模型；
(4)利用无缺陷图像的少样本缺陷检测：
测试的时候使用的是步骤(1)中处理好的数据集，需要将图像及其对应的标注文件输入步骤(3)中训练好的缺陷检测模型后，通过具体的缺陷特征提取和融合过程来进行缺陷检测；无论是基础类缺陷还是新类缺陷，都选择直接把缺陷图像输入到模型中，模型会导入训练好的模型参数，通过多重卷积运算获得缺陷检测结果。
2.根据权利要求1所述的利用无缺陷图像的少样本缺陷检测方法，其特征在于，所述步骤(4)中的缺陷特征提取和融合过程，具体步骤如下：
(4-1)特征提取网络：
特征提取网络基于ResNet-101，由卷积层、池化层、全连接层和Relu激活层组成；输入图像经过多层卷积计算后输出后续操作所需的多通道特征图；
(4-2)候选框提取网络：
以步骤(4-1)中输出的特征图作为候选框提取网络的输入，之后在这些特征图上通过滑动窗口和锚框机制来生成可能的缺陷区域；对于这些候选区域，需要应用非极大值抑制算法NMS，去除多余的候选区域；最后输出各个类别的感兴趣区域相关的特征图
Figure FDA0003355104180000021
类别总数为N；
(4-3)预测头重构网络：
基础类的预测头重构网络只需要输入缺陷图像，通过多重卷积运算获得各个类别的类别注意力特征向量
Figure FDA0003355104180000022
这些特征向量包含了输入图像的缺陷特征信息，用于生成类别相关的特征图；这个过程可用如下的公式表示：
Figure FDA0003355104180000023
其中，
Figure FDA0003355104180000024
表示特征向量与特征图的逐通道相乘；
新类的预测头重构网络需要同时输入无缺陷图像和少量缺陷图像；缺陷图像通过重构网络获得类别相关的特征向量
Figure FDA0003355104180000025
无缺陷图像通过重构网络获得无缺陷的特征向量vdf；通过这两种特征向量的相减操作，获得缺陷区域特征增强的特征向量
Figure FDA0003355104180000026
这个计算过程用公式表示为：
Figure FDA0003355104180000027
其中，λ是
Figure FDA0003355104180000028
的比例系数；参数λ的主要作用是减少无缺陷图像中的噪声对计算结果的干扰；之后，利用增强后的特征向量
Figure FDA0003355104180000029
与感兴趣区域相关的特征图
Figure FDA00033551041800000210
逐通道相乘可以获得缺陷区域特征增强的特征图，计算过程如下所示：
Figure FDA00033551041800000211
(4-4)特征融合：
将(4-3)中输出的类别相关的特征图
Figure FDA00033551041800000212
和缺陷区域特征增强的特征图
Figure FDA00033551041800000213
进行连接操作，实现特征的融合，经过全连接层之后，降低特征图的通道数，输出最终的特征图Fn；这个过程用如下的公式表示：
Figure FDA00033551041800000214
其中，fc表示全连接操作，⊙表示特征图的连接操作；
(4-5)分类和边框回归计算：
针对(4-4)中输出的特征图，用两个不同的分支分别做分类计算和边框回归计算；其中，分类计算的损失函数采用的是交叉熵损失函数，边框回归计算的损失函数采用的是平滑L1损失函数；利用这两个分支，获得目标缺陷的类别和位置信息并作为结果输出。
CN202111348548.1A 2021-11-15 2021-11-15 一种利用无缺陷图像的少样本缺陷检测方法 Pending CN114140398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111348548.1A CN114140398A (zh) 2021-11-15 2021-11-15 一种利用无缺陷图像的少样本缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111348548.1A CN114140398A (zh) 2021-11-15 2021-11-15 一种利用无缺陷图像的少样本缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114140398A true CN114140398A (zh) 2022-03-04

Family

ID=80393274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111348548.1A Pending CN114140398A (zh) 2021-11-15 2021-11-15 一种利用无缺陷图像的少样本缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114140398A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN115019146A (zh) * 2022-06-17 2022-09-06 集美大学 目标检测方法、系统及存内计算芯片
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN111932639A (zh) * 2020-09-09 2020-11-13 苏州鼎纳自动化技术有限公司 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN112950584A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于深度学习的涂层表面缺陷识别方法
CN113222896A (zh) * 2021-04-12 2021-08-06 河海大学 一种基于元学习的光伏面板缺陷检测方法
CN113344041A (zh) * 2021-05-20 2021-09-03 上海大学 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法
CN113392855A (zh) * 2021-07-12 2021-09-14 昆明理工大学 一种基于注意力和对比学习的小样本目标检测方法
CN113569940A (zh) * 2021-07-23 2021-10-29 中山大学 一种基于知识迁移和概率校正的少样本目标检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961220A (zh) * 2018-06-14 2018-12-07 上海大学 一种基于多层卷积特征融合的图像协同显著性检测方法
CN111932639A (zh) * 2020-09-09 2020-11-13 苏州鼎纳自动化技术有限公司 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN112950584A (zh) * 2021-03-01 2021-06-11 哈尔滨工程大学 一种基于深度学习的涂层表面缺陷识别方法
CN113222896A (zh) * 2021-04-12 2021-08-06 河海大学 一种基于元学习的光伏面板缺陷检测方法
CN113344041A (zh) * 2021-05-20 2021-09-03 上海大学 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法
CN113392855A (zh) * 2021-07-12 2021-09-14 昆明理工大学 一种基于注意力和对比学习的小样本目标检测方法
CN113569940A (zh) * 2021-07-23 2021-10-29 中山大学 一种基于知识迁移和概率校正的少样本目标检测方法
CN113610822A (zh) * 2021-08-13 2021-11-05 湖南大学 一种基于多尺度信息融合的表面缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于重重;萨良兵;马先钦;陈秀新;赵霞;: "基于度量学习的小样本零器件表面缺陷检测", 仪器仪表学报, no. 07, 21 August 2020 (2020-08-21) *
庄新卿;刘志;刘晗;: "基于卷积神经网络与轮廓提取的连铸坯表面缺陷检测方法", 工业控制计算机, no. 02, 25 February 2018 (2018-02-25) *
陈朝: "适于少样本缺陷检测的两阶段缺陷增强网络", 计算机工程与应用, vol. 58, no. 20, 28 March 2022 (2022-03-28) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN115019146A (zh) * 2022-06-17 2022-09-06 集美大学 目标检测方法、系统及存内计算芯片
CN116403071A (zh) * 2023-03-23 2023-07-07 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN116403071B (zh) * 2023-03-23 2024-03-26 河海大学 基于特征重构的少样本混凝土缺陷检测方法及装置
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Similar Documents

Publication Publication Date Title
CN114140398A (zh) 一种利用无缺陷图像的少样本缺陷检测方法
Kukreja et al. A Deep Neural Network based disease detection scheme for Citrus fruits
US11605226B2 (en) Video data processing method and apparatus, and readable storage medium
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN116189179B (zh) 循环肿瘤细胞扫描分析设备
CN110045015B (zh) 一种基于深度学习的混凝土结构内部缺陷检测方法
US20240046644A1 (en) Video classification method, device and system
CN109727246A (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN114677346B (zh) 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
GB2585261A (en) Methods for generating modified images
CN112951258B (zh) 一种音视频语音增强处理方法及装置
CN111783616B (zh) 一种基于数据驱动自学习的无损检测方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN115631186B (zh) 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN111008570B (zh) 一种基于压缩-激励伪三维网络的视频理解方法
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统
CN113298780A (zh) 一种基于深度学习的儿童骨龄评估方法及系统
CN114332008A (zh) 一种基于多层次特征重构的无监督缺陷检测与定位方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN114782410A (zh) 一种基于轻量化模型的绝缘子缺陷检测方法及其系统
CN114092467A (zh) 一种基于轻量化卷积神经网络的划痕检测方法及系统
CN113688789B (zh) 一种基于深度学习的在线学习投入度识别方法及系统
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN115690001A (zh) 一种用于检测钢管焊接数字射线图像中缺陷的方法
CN112818818B (zh) 一种基于affpn的新型超高清遥感图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination