CN116664494A - 一种基于模板对比的表面缺陷检测方法 - Google Patents
一种基于模板对比的表面缺陷检测方法 Download PDFInfo
- Publication number
- CN116664494A CN116664494A CN202310504727.2A CN202310504727A CN116664494A CN 116664494 A CN116664494 A CN 116664494A CN 202310504727 A CN202310504727 A CN 202310504727A CN 116664494 A CN116664494 A CN 116664494A
- Authority
- CN
- China
- Prior art keywords
- network
- template
- sample
- feature
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 33
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims description 39
- 238000010586 diagram Methods 0.000 claims description 22
- 125000004122 cyclic group Chemical group 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000009977 dual effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 208000025962 Crush injury Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 150000003071 polychlorinated biphenyls Chemical class 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理相关技术领域，并公开了一种基于模板对比的表面缺陷检测方法。该方法包括：S1采集待检测对象的工业图像，构建训练集、验证集和测试集；构建表面缺陷检测网络；S2设定检测网络的网络参数；将训练集中的模板和样本输入检测网络中，输出分割图；计算获得训练损失，调整网络参数；S3将验证集中的数据输入检测网络中，计算训练损失和平均损失，判断该平均损失是否下降，下降时返回步骤S2；否则，当前网络参数即为最优网络参数；S4将测试集中的模板和样本输入最优网格参数对应的检测网络中，获得每个样本对应的分割图，以此实现缺陷检测。通过本发明，不再直接学习样本的特征表达，仅收集模板，即可适应到新的批次。
Description
技术领域
本发明属于图像处理相关技术领域，更具体地，涉及一种基于模板对比的表面缺陷检测方法。
背景技术
近些年，为了解决表面缺陷检测领域中的样本不均衡问题，异常检测、样本扩充等方法被广泛研究并取得了巨大的进步。
然而，对于柔性制造系统，具有小批量多种类的特点，对于新的批次，既没有足够的正样本实现异常检测，新批次的样本分布也难以预测，样本扩充难以实现。因此，本领域亟待提出一种可以泛化到新批次的模型。
基于模板对比的单样本学习方法逐渐被广泛研究，Siamese U-Net提出了一种基于健康模板对比的方法，实现了CT图像的异常分割。DSSSNet提出了一种模板相似度度量方法，实现了PCBs图像的异常分割。但这些方法都假设模板与样本之间的区别仅为异常，但实际上模板与样本的背景特征之间还存在很多噪声。由于产品元器件位置偏移存在位移噪声，由于产品元器件一致性无法完全保证存在形变噪声，由于元器件纹理变化存在纹理噪声。
虽然神经网络存在强大的特征拟合能力，纹理噪声容易消除，但由于卷积神经网络存在位移、旋转不变性特性，如何消除位移、形变噪声成为基于模板对比的单样本学习实现缺陷分割最大的挑战。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于模板对比的表面缺陷检测方法，解决缺陷检测中位移消除和形变噪声很难消除的问题。
为实现上述目的，按照本发明，提供了一种基于模板对比的表面缺陷检测方法，该方法包括下列步骤：
S1采集待检测对象的工业图像，选取没有缺陷的图像作为模板，存在缺陷的图像作为样本，对所述样本中的缺陷进行像素级标记形成标签，以此获得每个样本对应的标签，所述模板、样本和与样本对应的标签形成数据集，将该数据集分为训练集、验证集和测试集；构建模板对比的表面缺陷检测网络；
S2设定所述检测网络的网络参数；将所述训练集中的模板和样本输入所述检测网络中，输出每个样本对应的分割图；将该分割图与该样本对应的标签进行对比计算获得训练损失，根据该训练损失调整所述网络参数；
S3将所述验证集中的数据输入网络参数调整后的所述检测网络中，并计算所述验证集对应的训练损失，利用所述验证集的训练损失计算平均损失，判断该平均损失是否下降，当平均损失下降时，返回步骤S2；否则，当前网络参数即为最优网络参数；
S4将所述测试集中的模板和样本输入最优网格参数对应的检测网络中，获得测试集中每个样本对应的分割图，从该分割图中获得样本的缺陷信息，以此实现缺陷检测。
进一步优选地，在步骤S1中，所述检测网络包括特征提取编码器和特征融合解码器，所述特征提取编码器包括孪生网络和双注意力机制，所述特征融合解码器包括循环残差注意力机制。
进一步优选地，在步骤S2中，所述检测网络输出分割图的过程按照下列步骤进行：
S21将所述模板和样本输入包括有多层网络结构的所述孪生网络中，每层网络结构输出一张特征图，以此获得模板和样本各自对应的每层网络的特征图；
S22将模板和样本各自的最深层网络对应的特征图同时输入所述双注意力机制中，获得样本对应的自注意力图和模板-样本互注意力图，将该自注意力图和互注意力图相减获得无噪声的缺陷特征图；
S23将步骤S21中模板和样本各自对应的每层网络的特征图相减，以此获得各层网络对应的两两相减特征图；
S24将所述无噪声的缺陷特征图和两两相减特征图输入所述循环残差注意力机制中，以此获得每层网络对应的去除掩码；
S25将每层网络对用的去除掩码与所述两两相减特征图相乘进行特征融合，获得所需的分割图。
进一步优选地，所述孪生网络是结构相同，权重共享的两组网络结构，该网络结构与ResNet相同，为ResNet-18，ResNet-34，ResNet-50，ResNet-101或ResNet-152。
进一步优选地，在步骤S22中，所述自注意力图按照下列关系式进行：
其中，向量Q,K,V由样本最深层次网络对应的特征图通过1×1卷积Wq,Wk,Wv获得，C1为向量的通道数。
进一步优选地，在步骤S22中，所述模板-样本互注意力图按照下列关系式进行：
其中，由模板最深层的网络对应的特征图通过1×1卷积Wk,Wv获得，C1为向量的通道数。
进一步优选地，在步骤S24中，所述去除掩码按照下列关系式进行：
其中，M0＝Fd，Fd＝Fself-Fcross是无噪声的缺陷特征图，Up(·)为线性上采样操作，f(·)为拉伸函数，AttenR(·)为残差注意力机制，W为1×1卷积。
进一步优选地，所述拉伸函数按照下列关系式进行：
f(x)＝logv((v-1)·x+1)
其中，v用来调节拉伸程度，数值越大，拉伸程度越大。
进一步优选地，所述循环残差注意力机制包括依次连接的下采样、上采样和sigmoid激活层，其中，所述下采样包括最大池化和残差块，所述最大池化用于成倍缩小特征尺寸，所述残差块用于特征提取，所述上采样包括线性上采样、合并操作、残差块和卷积操作，所述线性上采样用于成倍放大特征尺寸，所述合并操作用于融合提取后的特征和原始的输入特征，所述残差块用于提取特征，所述卷积操作用于减少通道数，所述sigmoid激活层用于获取像素值为0～1的去噪声掩码。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具备下列有益效果：
1.本发明提出了一种基于模板对比的单样本缺陷分割网络，不再直接学习样本的特征表达，而是学习如何对比模板和样本的不同，因此，对于新的批次，仅收集模板即可实现缺陷分割，该网络具有更强大的泛化能力，可以适应柔性产线中的多种类小批量特点；
2.本发明提出了一种双注意力机制，基于自注意力机制的空间位置无关特性，去除位置、形变噪声，得到无噪声的缺陷特征图；
3.本发明提出了一种循环残差注意力机制，以一种由深到浅的方法获得不同感受野的噪声去除掩码，实现特征融合。
附图说明
图1是按照本发明的优选实施例所构建的基于模板对比的单样本缺陷分割网络的流程图；
图2是按照本发明的优选实施例所构建的基于模板对比的单样本缺陷分割网络整体框架示意图；
图3是按照本发明的优选实施例所构建的孪生网络示意图；
图4是按照本发明的优选实施例所构建的双注意力机制框架示意图；
图5是按照本发明的优选实施例所构建的双注意力机制特征图；
图6是按照本发明的优选实施例所构建的循环残差注意力机制框架示意图；
图7是按照本发明的优选实施例所构建的循环残差注意力机制特征图；
图8是按照本发明的优选实施例所构建的测试样本及检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明提出了一种基于模板对比的单样本缺陷分割网络，用于工业制造过程中检测含表观异常的不合格工件，主要解决了小批量多种类的柔性产线中，对于样本变化很大的新批次，缺陷分割模型泛化的问题。
其主要思想为：如图1所示，本发明不再直接学习样本的特征表达，而是学习如何对比模板和样本的不同。对比的主要难点在于，在模板与样本之间，除了异常特征，还存在背景噪声，且由于卷积神经网络的平移、旋转等变性，位移、形变噪声十分难以去除。
首先，本发明设计了孪生网络分别提取模板和样本的特征图。然后，受启发于自注意力机制在自然语言模型中位置无关的特性，本发明基于自注意力机制提出了双注意力机制，用以提取无噪声的缺陷特征图。最后，基于残差注意力机制和循环神经网络，提出了循环残差注意力机制，用于生成不同层次的噪声去除掩码，实现了无噪声的特征融合，得到分割结果。具体包括以下步骤：
S1收集不同批次的工业图像，对异常区域进行像素级标记形成标签，构建模板(没有缺陷的)-样本(可能有缺陷的)-标签的成组数据，按照一定的比例划分为训练集、验证集和测试集。其中，缺陷包括划伤、断线、脏污、破损和多错少线等，标签用于标识样本中每个像素是否为缺陷；
构建模板对比的表面缺陷检测网络，包括特征提取编码器和特征融合解码器，特征提取编码器包含了孪生网络和双注意力机制，输入是模板和样本，用于提取模板和样本中的特征，特征融合解码器包含循环残差注意力机制，输入是特征，将特征融合得到输出图。
S2设定检测网络的参数，将步骤S1中的训练集的模板-样本分别输入包括多层网络结构的孪生网络中，分别获得模板-样本各自的每层的特征图；最深层的模板和样本的特征图共同输入双注意力机制中，求样本自注意力图和样本-模板互注意力图，相减获得无噪声的缺陷特征图；将无噪声的缺陷特征图以及模板-样本对应的两两相减特征图(例如：模板在第i层网络对应的特征图和样本在第i层网络对应的特征图相减)输入循环残差注意力机制，通过由深层到浅层的方式生成每层的噪声去除掩码，将噪声去除掩码和两两相减特征图相乘用于特征融合获得一张仿真的标签，最终输出分割图。
将检测结果与对应的标签对比，计算得到训练损失；调整测试网络的参数；
S3将验证集中的模板和样本输入测试网络中，并计算训练损失，用于网络的迭代训练，在一定训练轮数内，验证集平均损失不再下降，停止训练，获得最优的参数化模型；
S4将S1中测试集的待检测样本模板-样本输入最优的参数化模型中，得到分割图，该分割图反映缺陷的位置，大小和形状等信息。
作为本发明的优选方案，训练集、验证集和测试集中样本的比值为6：2：2。
如图2所示，模板对比的表面缺陷检测网络包括特征提取编码器和特征融合解码器，特征提取编码器包含了孪生网络和双注意力机制，特征融合解码器包含循环残差注意力机制。
如图3所示，孪生网络由结构相同，权重共享的两组网络结构，网络结构与ResNet相同，为ResNet-18，ResNet-34，ResNet-50，ResNet-101，ResNet-152等，可综合考虑图像复杂度和计算实时性调整。
如图4所示，双注意力机制包括5个1×1卷积核，进一步的，具体步骤为：
第一步：将模板和样本输入孪生网络，获得模板最深层特征图为样本最深层特征图为/>通过1×1卷积Wq,Wk,Wv获得向量/>
Q＝WqFx
K＝WkFx
V＝WvFx
第二步：调整向量尺寸其中M＝H×W；
第三步：求得样本自注意力特征图
第四步：求得模板-样本互注意力特征图
第五步：无噪声的缺陷特征图通过自注意力特征图Fself和互注意力特征图Fcross相减：
Fd＝Fself-Fcross
如图5所示，与孪生网络提取到的特征图对比，双注意力机制很好的消除了位移噪声和变形噪声。对于纹理噪声，孪生网络和双注意力机制都可以被很好的消除，这是神经网络本身所具备的强大的特征表达能力。
如图6所示，循环残差注意力机制包含1×1卷积W，残差注意力机制AttenR，上采样Up和拉伸函数f，进一步的，具体步骤为：
第一步：将模板和样本输入孪生网络，其中最深层特征输入双注意力机制中获得无噪声缺陷特征图Fd。其中较浅的4层特征图对应相减，得到由深到浅得到特征图F1 d,
第二步：将最深层的特征Fd上采样，经过拉伸函数得到f(Up(Fd))，相减特征层F1 d，经过1×1卷积，残差注意力机制得到AttenR(WF1 d)，噪声去除掩码M1为：
M1＝f(Up(Fd))×AttenR(WF1 d)
第三步：将M1和作为输入，重新进行第二步的流程，得到噪声去除掩码M2为：
M2＝f(Up(M1))×AttenR(WF1 d)
循环上述流程，分别得到M3,M4。
进一步的，残差注意力机制包含下采样、上采样和sigmoid激活层依次排列的三个部分。在下采样部分，包含步长为2的最大池化层和残差块。上采样部分，包含放大倍数为2的线性上采样部分，合并操作，残差块，和1×1卷积操作，其中合并操作用于融合原始输入特征和提取后的特征，避免信息丢失。其中残差块包含首尾相连的3×3卷积操作，批量化规范操作，激活函数ReLU，3×3卷积操作，批量化规范操作，激活函数ReLU。
进一步的，拉伸函数为：
f(x)＝logv((v-1)·x+1)
其中v用来调节拉伸程度，数值越大，拉伸程度越大。
如图7所示，特征图由深到浅，噪声越来越多，仅使用残差注意力机制生成的噪声消除掩码效果并不理想。利用无噪声的缺陷特征图作为引导，由浅及深生成噪声去除掩码，效果有了明显改善。进一步加入拉伸函数后，噪声去除掩码效果趋于理想化。
如图8所示，本发明所提出的网络实现了很好的检测效果。
下面将结合具体的实施例进一步说明本发明。
本实施例以光通讯器件检测为例对本发明的方法进行说明。
本实施例的一种基于模板对比的单样本缺陷分割网络包括以下步骤：
(1)制作数据集；
本实施例收集的光通讯器件图像共918张，组成数据集ODCs，包含五类缺陷，底座压伤，底座划痕，组件破损，组件污染，多错少线，图像格式为BMP。每张图像进行大小归一化为同一像素尺寸256×256(单位：像素)。将图像分为训练集、验证集、测试集，如表1所示。
表1数据集ODCs
| 类型 | 训练集 | 验证集 | 测试集 | 总计 |
| 底座压伤 | 36 | 12 | 12 | 60 |
| 底座划痕 | 17 | 5 | 5 | 27 |
| 组件破损 | 144 | 48 | 48 | 240 |
| 组件污染 | 225 | 75 | 75 | 375 |
| 多错少线 | 130 | 43 | 43 | 216 |
(2)单样本缺陷分割网络；
在本实施例中在Pytorch1.4深度学习框架上构建单样本缺陷分割网络。
(3)数据集训练及模型优化；
(3-1)编写python程序，训练样本随机排序后，进行平均分配，批量化训练的批大小为4(单位：张)；
(3-2)训练图像分批依次输入模型，当一批中所有样本梯度下降数值之和计算完毕后，进行一次权值更新，直至所有批次更新完毕。使用验证集对已训练模型进行评价，得到评价值(本例中采用损失函数)。若评价值大于现有最大评价值，储存现有参数化模型，进行下次迭代；若小于最大评价值，直接进行下次迭代，累计连续小于最大评价次数，若次数大于50，则结束训练。同时设置训练样本迭代次数为500次，完成迭代次数也结束训练。得到最优化参数化模型命名GWNet-ODCs-model；
(3-4)输入测试集对训练完毕的模型进行测试，得到各类指标，结果列于表3。在模型上GWNet-ODCs-model测试，测试集准确率为0.9070，召回率为0.8891，F1分数为0.8980，mIoU为0.8074，实现了非常精确的异常识别。
表3 BNN-SDD模型总体评价指标
| 网络 | 准确率 | 召回率 | F1分数 | mIoU |
| GWNet | 0.7771 | 1.9329 | 0.8980 | 0.8074 |
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于模板对比的表面缺陷检测方法，其特征在于，该方法包括下列步骤：
S1采集待检测对象的工业图像，选取没有缺陷的图像作为模板，存在缺陷的图像作为样本，对所述样本中的缺陷进行像素级标记形成标签，以此获得每个样本对应的标签，所述模板、样本和与样本对应的标签形成数据集，将该数据集分为训练集、验证集和测试集；构建模板对比的表面缺陷检测网络；
S2设定所述检测网络的网络参数；将所述训练集中的模板和样本输入所述检测网络中，输出每个样本对应的分割图；将该分割图与该样本对应的标签进行对比计算获得训练损失，根据该训练损失调整所述网络参数；
S3将所述验证集中的数据输入网络参数调整后的所述检测网络中，并计算所述验证集对应的训练损失，利用所述验证集的训练损失计算平均损失，判断该平均损失是否下降，当平均损失下降时，返回步骤S2；否则，当前网络参数即为最优网络参数；
S4将所述测试集中的模板和样本输入最优网格参数对应的检测网络中，获得测试集中每个样本对应的分割图，从该分割图中获得样本的缺陷信息，以此实现缺陷检测。
2.如权利要求1所述的一种基于模板对比的表面缺陷检测方法，其特征在于，在步骤S1中，所述检测网络包括特征提取编码器和特征融合解码器，所述特征提取编码器包括孪生网络和双注意力机制，所述特征融合解码器包括循环残差注意力机制。
3.如权利要求2所述的一种基于模板对比的表面缺陷检测方法，其特征在于，在步骤S2中，所述检测网络输出分割图的过程按照下列步骤进行：
S21将所述模板和样本输入包括有多层网络结构的所述孪生网络中，每层网络结构输出一张特征图，以此获得模板和样本各自对应的每层网络的特征图；
S22将模板和样本各自的最深层网络对应的特征图同时输入所述双注意力机制中，获得样本对应的自注意力图和模板-样本互注意力图，将该自注意力图和互注意力图相减获得无噪声的缺陷特征图；
S23将步骤S21中模板和样本各自对应的每层网络的特征图相减，以此获得各层网络对应的两两相减特征图；
S24将所述无噪声的缺陷特征图和两两相减特征图输入所述循环残差注意力机制中，以此获得每层网络对应的去除掩码；
S25将每层网络对用的去除掩码与所述两两相减特征图相乘进行特征融合，获得所需的分割图。
4.如权利要求2或3所述的一种基于模板对比的表面缺陷检测方法，其特征在于，所述孪生网络是结构相同，权重共享的两组网络结构，该网络结构与ResNet相同，为ResNet-18，ResNet-34，ResNet-50，ResNet-101或ResNet-152。
5.如权利要求3所述的一种基于模板对比的表面缺陷检测方法，其特征在于，在步骤S22中，所述自注意力图按照下列关系式进行：
其中，向量Q,K,V由样本最深层次网络对应的特征图通过1×1卷积Wq,Wk,Wv获得，C1为向量的通道数。
6.如权利要求3所述的一种基于模板对比的表面缺陷检测方法，其特征在于，在步骤S22中，所述模板-样本互注意力图按照下列关系式进行：
其中，由模板最深层的网络对应的特征图通过1×1卷积Wk,Wv获得，C1为向量的通道数。
7.如权利要求3所述的一种基于模板对比的表面缺陷检测方法，其特征在于，在步骤S24中，所述去除掩码按照下列关系式进行：
其中，M0＝Fd，Fd＝Fself-Fcross是无噪声的缺陷特征图，Up(·)为线性上采样操作，f(·)为拉伸函数，AttenR(·)为残差注意力机制，W为1×1卷积。
8.如权利要求7所述的一种基于模板对比的表面缺陷检测方法，其特征在于，所述拉伸函数按照下列关系式进行：
f(x)＝logv((v-1)·x+1)
其中，v用来调节拉伸程度，数值越大，拉伸程度越大。
9.如权利要求2或3所述的一种基于模板对比的表面缺陷检测方法，其特征在于，所述循环残差注意力机制包括依次连接的下采样、上采样和sigmoid激活层，其中，所述下采样包括最大池化和残差块，所述最大池化用于成倍缩小特征尺寸，所述残差块用于特征提取，所述上采样包括线性上采样、合并操作、残差块和卷积操作，所述线性上采样用成倍放大特征尺寸，所述合并操作用于融合提取后的特征和原始的输入特征，所述残差块用于提取特征，所述卷积操作用于减少通道数，所述sigmoid激活层用于获取像素值为0～1的去噪声掩码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504727.2A CN116664494A (zh) | 2023-05-06 | 2023-05-06 | 一种基于模板对比的表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310504727.2A CN116664494A (zh) | 2023-05-06 | 2023-05-06 | 一种基于模板对比的表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116664494A true CN116664494A (zh) | 2023-08-29 |
Family
ID=87712669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310504727.2A Pending CN116664494A (zh) | 2023-05-06 | 2023-05-06 | 一种基于模板对比的表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664494A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314895A (zh) * | 2023-11-27 | 2023-12-29 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
-
2023
- 2023-05-06 CN CN202310504727.2A patent/CN116664494A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117314895A (zh) * | 2023-11-27 | 2023-12-29 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
| CN117314895B (zh) * | 2023-11-27 | 2024-03-12 | 北京阿丘科技有限公司 | 缺陷检测方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992354B (zh) | 基于引入自动记忆机制对抗自编码器的异常区域检测方法 | |
| CN105608471B (zh) | 一种鲁棒直推式标签估计及数据分类方法和系统 | |
| CN111382785B (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN111223093A (zh) | 一种aoi缺陷检测方法 | |
| CN107563999A (zh) | 一种基于卷积神经网络的芯片缺陷识别方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN114972194B (zh) | 一种从不一致标签中检测缺陷的方法 | |
| CN114723708A (zh) | 一种基于无监督图像分割的工艺品外观缺陷检测方法 | |
| CN116645369B (zh) | 基于孪生自编码器和双向信息深度监督的异常检测方法 | |
| CN116664494A (zh) | 一种基于模板对比的表面缺陷检测方法 | |
| CN114565605A (zh) | 一种病理图像的分割方法及装置 | |
| Fan et al. | Classification of imbalanced data using deep learning with adding noise | |
| CN113673482A (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN113689383B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN115713480A (zh) | 一种集成电路金属封装深度学习缺陷检测方法 | |
| CN117197682B (zh) | 一种长波红外遥感影像进行盲元检测与去除的方法 | |
| Chang et al. | Bilayer Markov random field method for detecting defects in patterned fabric | |
| CN111144469B (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| CN117252817A (zh) | 一种透明导电薄膜玻璃表面缺陷检测方法及系统 | |
| CN115035097B (zh) | 基于域适应的跨场景带钢表面缺陷检测方法 | |
| CN116228682A (zh) | 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法 | |
| CN114548250B (zh) | 一种基于数据分析的手机外观检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |