CN116228754A - 一种基于深度学习和全局差异性信息的表面缺陷检测方法 - Google Patents

一种基于深度学习和全局差异性信息的表面缺陷检测方法 Download PDF

Info

Publication number
CN116228754A
CN116228754A CN202310504401.XA CN202310504401A CN116228754A CN 116228754 A CN116228754 A CN 116228754A CN 202310504401 A CN202310504401 A CN 202310504401A CN 116228754 A CN116228754 A CN 116228754A
Authority
CN
China
Prior art keywords
training
sample
difference information
sample set
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310504401.XA
Other languages
English (en)
Other versions
CN116228754B (zh
Inventor
孙启玉
刘玉峰
孙平
杨公平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Fengshi Information Technology Co ltd
Original Assignee
Shandong Fengshi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Fengshi Information Technology Co ltd filed Critical Shandong Fengshi Information Technology Co ltd
Priority to CN202310504401.XA priority Critical patent/CN116228754B/zh
Publication of CN116228754A publication Critical patent/CN116228754A/zh
Application granted granted Critical
Publication of CN116228754B publication Critical patent/CN116228754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于深度学习和全局差异性信息的表面缺陷检测方法，属于表面缺陷检测技术领域。由原始数据集的训练集构建基准样本集与普通训练样本集，通过基准样本集的特征拟合多元高斯分布，得到该类样本图片上不同位置patch对应的均值与协方差，并将普通训练样本集中每个样本的特征与对应由基准样本集拟合的均值、协方差计算马氏距离，得到全局差异性信息图，最后再与普通训练样本集对应的样本图片表示相融合，得到最终的输入数据，输入到分割网络中输出缺陷分数图，并构建损失函数，以此来训练网络模型。本发明让模型更加关注图片中可能的缺陷区域，学习到更多的关于缺陷模式的信息，进一步提高了缺陷检测模型的精度以及泛化能力。

Description

一种基于深度学习和全局差异性信息的表面缺陷检测方法
技术领域
本发明涉及一种表面缺陷检测方法，特别涉及一种基于深度学习和全局差异性信息的表面缺陷检测方法，属于深度学习、图像处理、表面缺陷检测技术领域。
背景技术
表面缺陷在工业生产过程中是无法避免的、无法预知的，而且还会对产品的性能产生不利影响。因此对于制造商而言，产品表面质量的控制是至关重要的。传统的金属表面检测方式通常都是人工进行的，工人通过肉眼来识别各种各样的缺陷。然而，这种方式有很多缺点，包括精度低、效率低、实时性很差、主观性强等等，并可能严重降低车间的生产能力，增加生产成本。
近年来，随着深度学习的发展，基于深度学习的方法被广泛应用于工业表面缺陷检测中，虽然这些方法有着很高的检测效果，但异常的定位效果还有待提高，定位的效果不一定满足高质量工业生产的要求。如专利CN 115424050 A，公开了一种瓷砖表面缺陷检测及定位方法、系统及存储介质，首先构建特征提取及处理模型，输入正常瓷砖样本图片集构造成的数据集得到图片特征，再利用多重多元高斯聚类构造图片特征的特征点所属的聚类簇，并进行优化再分配，得到每个聚类簇最新的均值和协方差，计算特征点到各自所属聚类簇中心的马氏距离并构建损失函数， 通过多轮训练获得训练好的特征提取及处理模型，最后将待检测图片输入至训练好的特征提取 及处理模型，提取待测图片特征，通过KNN算法判断瓷砖表面是否存在缺陷并定位缺陷位置。但是该技术每次分配聚类簇时都会进行均值和协方差的迭代更新，而且使用KNN算法检索距离最近的特征群，这都会产生大量的计算量成本，同时也会增加检测时间，而一个较好的缺陷检测方法应该具有性能高、计算成本低、耗时低的特点。
因此，如何采用深度学习网络快速且精准定位缺陷是一个非常关键的问题。
发明内容
本发明的目的是克服上述不足，而提供一种基于深度学习和全局差异性信息的表面缺陷检测方法，对提取的特征拟合多元高斯分布来计算马氏距离作为全局差异性信息，将不同层次的语义信息、位置信息与预处理的图片融合，突出可能的缺陷区域，让模型充分学习以精确检测和定位表面缺陷。
本发明采取的技术方案为：
一种基于深度学习和全局差异性信息的表面缺陷检测方法，包括步骤如下：
S1. 对数据集的训练集进行划分：获取工业表面图像划分训练集和测试集，从训练集的正常样本中抽取部分样本作为基准样本集不参与网络的训练，将训练集其余的正常样本与训练集中所有缺陷样本构成最终的普通训练样本集用于网络训练，对所有的样本都进行均值-标准化预处理；
S2. 将基准样本集图像输入预训练的特征提取网络提取融合特征，使用提取的融合特征拟合多元高斯分布；
S3. 将普通训练样本集中的样本输入到与步骤S2相同的特征提取网络中提取融合特征，最终得到融合后的样本特征图，计算样本特征图中（i，j）位置的特征向量与对应由基准样本集提取的特征图在（i，j）位置拟合的多元高斯分布之间的马氏距离，以此来生成该样本对应的全局差异性信息图；
S4.将该全局差异性信息图与对应步骤S3中输入到特征提取网络中的普通训练样本集的样本逐像素点相乘，得到最终携带全局差异性信息的训练数据，对普通训练样本集中的每个样本都进行上述操作；
S5. 将携带全局差异性信息的训练数据送入到分割网络获得分割结果输出缺陷分数图，并计算损失；
S6.根据损失迭代训练并优化分割网络模型，保存最优分割网络模型参数，用最优模型进行缺陷检测。
上述方法中，步骤S1所述的训练集还包括与普通训练样本集中每个样本对应的真实标签图片。
步骤S2所述的特征提取网络使用预训练的WideResNet502(经典特征提取网络ResNet的一种变体)前三层作为特征提取网络，提取融合特征的过程为：基准样本集的图像输入到WideResNet502特征提取网络中，网络第一层输出结果F 1，第二层输出结果F 2，第三层输出结果F 3，首先对F 2上采样，再与F 1拼接，得到C 12，将F 3上采样后再与C 12拼接，拼接后的结果经平均池化层进行池化操作得到最终的融合特征。
步骤S2中对由基准样本集提取的特征向量拟合多元高斯分布
Figure SMS_1
如下：
Figure SMS_2
，
Figure SMS_3
，
其中μ ij 是所有基准样本生成的特征图在（i，j）位置的特征向量的均值，
Figure SMS_4
是所有基准样本生成的特征图在（i，j）处的协方差矩阵，N是基准样本集的样本数量，x k ij 表示基准样本集中第k个样本提取的特征图上对应（i，j）位置的特征向量，正则项
Figure SMS_5
使样本协方差矩阵满秩且可逆，I表示单位矩阵，
Figure SMS_6
表示一个不为零且很小的数（设置为0.01）。
步骤S3中马氏距离的计算过程为：计算普通样本集中每个样本提取的特征图中（i，j）位置的特征向量z ij 与由基准样本集提取的特征图在（i，j）位置学习的分布
Figure SMS_7
之间的距离，其公式为：
Figure SMS_8
，
其中z ij 是普通训练集单个样本的特征在（i，j）位置的特征向量，μ ij 、
Figure SMS_9
由基准样本集样本特征在（i，j）位置拟合的多元高斯分布，μ ij 是所有基准样本生成的特征图在（i，j）位置的特征向量的均值，
Figure SMS_10
表示所有基准样本生成的特征图在（i，j）处的协方差矩阵，
Figure SMS_11
表示
Figure SMS_12
的逆，最终可以计算出马氏距离矩阵M k
Figure SMS_13
，
其中k表示普通样本集中的第k个样本，对矩阵M k 上采样将尺寸调整为原图像尺寸 （W
Figure SMS_14
H），即得到全局差异性信息图。
步骤S5所述的分割网络中包含卷积模块、上采样模块以及一个1
Figure SMS_15
1的卷积层，训 练数据输入到分割网络中，经过卷积模块后得到更深层的特征，再输入到上采样模块中得 到与原图片尺寸相同的向量，最后输入到1
Figure SMS_16
1卷积层中，充分融合信息，得到分割结果。所 述的卷积模块含有8个5
Figure SMS_17
5的卷积层，1个15
Figure SMS_18
15的卷积层以及3个最大池化层；上采样模 块包含3个上采样层，每个上采样层都由一个双线性插值上采样操作和3个3
Figure SMS_19
3的卷积层组 成，每一次上采样后的尺寸都变为原来的2倍。
步骤S5中的损失计算为：将分割结果与对应的真实标签图片逐像素对比，使用交叉熵损失函数计算损失，进行网络的反向传播，更新分割网络与特征提取网络的权重，使用的交叉熵损失函数表示为：
Figure SMS_20
，
Figure SMS_21
，
其中，k表示普通训练集中第k张样本，其取值范围为{1,2,3,…N}；L k 表示第k张训练样本计算出来的损失值；W k 表示第k张样本的宽，H k 表示第k张样本的高；y i,j 表示第k张样本（i，j）位置的像素标签，取值为0或1，1表示异常像素，0表示正常像素；p i,j 表示第k张样本（i，j）位置像素的预测值，表示该位置的像素预测为缺陷的概率，N是样本个数，L total 表示N个样本的平均损失。
步骤S5所述的迭代训练使用SGD优化器，动量设置为0.99，权重衰减系数设置为0.00003，初始学习率设置为0.01，采用阶段性衰减策略改变学习率，加速模型的收敛，批次大小设置为10，即每次读取10张训练集图片作为一次迭代，每次迭代分别计算损失并进行梯度回传、模型参数更新，共迭代1000次。
本发明的有益效果是：
本发明由原始数据集的训练集构建基准样本集与普通训练样本集，通过基准样本集的特征拟合多元高斯分布，得到该类样本图片上不同位置对应的均值与协方差，并将普通训练样本集中每个样本的特征与对应由基准样本集拟合的均值、协方差计算马氏距离，得到该样本对应的全局差异性信息图，最后再与对应普通训练样本集样本的图片表示相融合（逐像素点相乘），得到最终的输入数据，输入到分割网络中输出缺陷分数图，并构建损失函数，以此来训练网络模型。
本发明最终输入的训练数据含有一定的先验知识，让模型更加关注图片中可能的缺陷区域，学习到更多的关于缺陷模式的信息，进一步提高了缺陷检测模型的精度以及泛化能力。与其他缺陷检测方法直接使用最终生成的图片分割特征（小于图片尺寸）与下采样后的真实标签计算损失不同，本发明是在分割网络模型的卷积模块中提取图片特征，然后在其上采样模块中对图片特征逐步上采样到原图片尺寸大小，每一次上采样都进行多次卷积去除上采样产生的冗余信息，更好地融合细节信息，使用最后上采样的结果与原始大小的真实标签计算损失，保证精度尽量不损失，提高模型对缺陷检测与定位的效果。
附图说明
图1为本发明方法的流程图；
图2为本发明方法的模型结构示意图；
图3为本发明特征提取网络提取融合特征的过程图；
图4为本发明分割网络结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
实施例：
一种基于深度学习和全局差异性信息的表面缺陷检测方法，（流程如图1）包括步骤如下，
S1. 对数据集的训练集进行划分：
缺陷检测方向的数据集包含训练集与测试集，训练集一般含有正常样本、缺陷样 本以及对应的真实标签图片。获取工业表面图像，从给定原始训练集的正常样本中抽取1/ 10的样本，将抽取的正常样本作为基准样本集，不参与网络的训练，以该样本集拟合估计正 常样本的多元高斯分布，用于训练阶段与测试阶段。其余9/10的正常样本与训练集中所有 缺陷样本构成最终的普通训练样本集。对所有的样本都进行均值-标准化预处理，最终得到 的训练样本尺寸为3
Figure SMS_22
W
Figure SMS_23
H。同时，以灰度图的方式读取普通训练样本集中每个样本对应 的真实标签图片，最终得到的GT（标签）尺寸为1
Figure SMS_24
W
Figure SMS_25
H。
S2. 将基准样本集图像输入特征提取网络提取融合特征，使用提取的融合特征拟合多元高斯分布：
本发明使用预训练的WideResNet502前三层作为特征提取网络（冻结网络参数，不参与训练），利用前三层的输出的特征拟合多元高斯分布。正常图像的每个patch（图像块）都与特征网络特征映射中其空间对应的特征向量相关联，然后将来自不同层次的特征向量融合起来，得到包含不同层次语义信息和位置信息的特征向量。由于得到的特征图的分辨率低于输入图像，因此许多像素与同一个特征向量相关联。假定所有的特征都是由多元高斯分布生成，其中μ ij 是特征向量x ij 的均值，因此对每个特征向量拟合多元高斯分布
Figure SMS_26
如下：
Figure SMS_27
，
Figure SMS_28
，
其中N是基准样本集的样本数量，正则项
Figure SMS_39
使样本协方差矩阵满秩且可逆。每个 patch（图像块）的特征通过高斯参数矩阵都与一个多元高斯分布相关联。基准样本集中N个 样本图片的矩阵表示为N
Figure SMS_30
3
Figure SMS_35
W
Figure SMS_32
H，将其输入到特征提取网络中。网络第一层输出结果F 1为
Figure SMS_34
，第二层输出结果F 2为
Figure SMS_38
，第三层输出结果F 3为
Figure SMS_42
。首先对F 2上采样，与F 1拼接，得到C 12，尺寸为
Figure SMS_37
，并 将F 3上采样的结果与C 12拼接，得到拼接后的特征矩阵尺寸大小为
Figure SMS_41
，最后 以尺寸大小为3×3，padding（补丁）为1，stride（步长）为1的平均池化层进行池化操作以增 大感受野，得到最终的特征图res，尺寸大小为
Figure SMS_29
。如图3，以一张样本举例 说明融合的过程。利用特征图res拟合多元高斯分布，我们以（i，j）位置的多元高斯分布为 例说明：一张样本最终得到的融合特征图尺寸大小为
Figure SMS_33
，其在（i，j）位置的特 征向量的尺寸大小为1792
Figure SMS_43
1，总共有N个样本，代入上述均值计算公式可得μ ij 的尺寸大小 为1792
Figure SMS_46
1，由于特征图上总共有
Figure SMS_44
个位置，因此由特征图res生成的特征向量均值 矩阵尺寸大小为
Figure SMS_47
。N个样本中的每个样本在（i，j）位置对应的特征向量尺寸 大小都是1792
Figure SMS_31
1，代入上述协方差计算公式中，得到N个样本在（i，j）位置计算的协方差矩 阵的尺寸大小为1792
Figure SMS_36
1792，由于特征图上总共有
Figure SMS_40
个位置，因此由特征图res生 成的协方差矩阵尺寸大小为
Figure SMS_45
。
S3. 将普通训练样本集中的每个样本输入到与步骤S2相同的特征提取网络中提取融合特征，最终得到融合后的样本特征图，计算样本特征图中（i，j）位置的特征向量与对应由基准样本集提取的特征图在（i，j）位置拟合的多元高斯分布之间的马氏距离，以此来生成该样本对应的全局差异性信息图：
将普通训练集中每个样本输入到与步骤S2相同的预训练的特征提取网络（冻结网络参数，不参与训练）中，最终得到融合后的特征图（由每个样本执行一次图3中的操作得到），尺寸是
Figure SMS_48
。我们计算样本特征图中（i，j）位置的特征向量与对应由基准样本集特征在（i，j）位置拟合的多元高斯分布的马氏距离，以此来生成每个样本对应的全局差异性信息图。可以理解为普通样本集中每个样本的特征图在（i，j）位置对应的特征z ij 与由基准样本集提取的特征图在（i，j）位置学习的分布
Figure SMS_49
之间的距离，其中计算公式为:
Figure SMS_50
，
其中z ij 是普通训练集单个样本的特征在（i，j）位置的特征向量，μ ij 、
Figure SMS_51
是由基准样本集样本特征在（i，j）位置拟合的多元高斯分布，μ ij 是所有基准样本生成的特征图在（i，j）位置的特征向量的均值，
Figure SMS_52
表示所有基准样本生成的特征图在（i，j）处的协方差矩阵，
Figure SMS_53
表示
Figure SMS_54
的逆，最终可以计算出马氏距离矩阵M k
Figure SMS_55
，
其中k表示普通样本集中的第k个样本。矩阵M k 的尺寸为
Figure SMS_56
，对其上采样将 尺寸调整为原图像尺寸（W
Figure SMS_57
H），即得到全局差异性信息图，该矩阵携带全局不同语义层面 与位置层面的差异性信息。
S4.将全局差异性信息图与对应步骤S3中输入到特征提取网络中的普通训练集的样本逐像素点相乘，得到对应携带全局差异性信息的训练数据：
将全局差异性信息图与对应步骤S3中输入到特征提取网络中预处理的普通训练 集的样本逐像素点相乘，最终得到的输入图像的尺寸大小为3
Figure SMS_58
W
Figure SMS_59
H。这样做的优点是： 将差异性信息融合到原图像中，即突出某些可能是缺陷的区域，减弱正常区域在网络中的 响应，使得网络在训练过程中对可能的缺陷模式给予更多的关注。
对普通训练样本集中的每个样本都进行步骤S3操作，每个样本都生成一个对应的携带全局差异性信息的训练数据，这些数据构成最终的训练集。
S5. 将携带全局差异性信息的训练数据送入到分割网络获得分割结果输出缺陷分数图，并计算损失：
分割网络中包含卷积模块、上采样模块以及一个1
Figure SMS_60
1的卷积层。训练数据输入到 分割网络中，经过卷积模块后得到更深层的特征，再输入到上采样模块中得到与原图片尺 寸相同的向量，最后输入到1
Figure SMS_61
1卷积层中，充分融合信息，得到分割结果。卷积模块含有8个 5
Figure SMS_62
5的卷积层，1个15
Figure SMS_63
15的卷积层以及3个最大池化层。上采样模块中包含3个上采样层， 每个上采样层都由一个双线性插值上采样操作和3个3
Figure SMS_64
3的卷积层组成，每一次上采样后 的尺寸都变为原来的2倍。所有的参数都是可学习的。分割网络结构图如图4。
将由步骤S4得到的训练数据输入到分割网络中，经过卷积模块后，得到更深层的 特征，特征尺寸大小为
Figure SMS_65
。将分割模块的结果输入到上采样模块中，最终得到与原 图片尺寸相同的向量，尺寸为1
Figure SMS_66
C
Figure SMS_67
W
Figure SMS_68
H。将此输出输入到1
Figure SMS_69
1卷积层中，充分融合全 局上下文信息，最终得到尺寸大小为W
Figure SMS_70
H分割结果。
将分割结果与对应训练图片的真实标签逐像素对比，使用交叉熵损失函数计算损失，进行网络的反向传播，更新分割网络与特征提取网络的权重，模型使用的交叉熵损失函数表示为：
Figure SMS_71
，
Figure SMS_72
，
其中，k表示普通训练集中第k张样本，其取值范围为{1,2,3,…N}；L k 表示第k张训练样本计算出来的损失值；W k 表示第k张样本的宽，H k 表示第k张样本的高；y i,j 表示第k张样本（i，j）位置的像素标签，取值为0或1，1表示异常像素，0表示正常像素；p i,j 表示第k张样本（i，j）位置像素的预测值，表示该位置的像素预测为缺陷的概率，N是样本个数，L total 表示N个样本的平均损失。
S6.根据损失迭代训练并优化模型，保存最优分割网络模型参数，用最优模型进行缺陷检测：
本发明的分割网络模型在训练过程中使用SGD优化器，动量设置为0.99，权重衰减系数设置为0.00003，初始学习率设置为0.01，采用阶段性衰减策略改变学习率，加速模型的收敛。批次大小设置为10，即每次读取10张训练集图片作为一次迭代，每次迭代分别计算损失并进行梯度回传、模型参数更新。共迭代1000次，取迭代完后的模型作为最终的模型。
在模型测试阶段，读取最终的模型参数，同时使用由基准样本集拟合的多元高斯分布，将测试集样本数据输入到网络中。在缺陷检测领域中，对像素而言，只有异常像素与正常像素两种，是一个二分类的过程，因此对模型的输出结果取sigmoid（将数值映射到0，1之间的激活函数），最终输出缺陷分数图，每个分数表示为对应像素为缺陷的概率，取缺陷分数图中的最大值作为这个样本的缺陷分数。无论是像素分数还是样本分数，分数越大，说明其是缺陷的概率越大。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，包括步骤如下：
S1.对数据集的训练集进行划分：获取工业表面图像划分训练集和测试集，从训练集的正常样本中抽取部分样本作为基准样本集不参与网络的训练，将训练集其余的正常样本与训练集中所有缺陷样本构成最终的普通训练样本集用于网络训练，对所有的样本都进行均值-标准化预处理；
S2. 将基准样本集图像输入预训练的特征提取网络提取融合特征，使用提取的融合特征拟合多元高斯分布；
S3. 将普通训练样本集中的样本输入到与步骤S2相同的特征提取网络中提取融合特征，最终得到融合后的样本特征图，计算样本特征图中（i，j）位置的特征向量与对应由基准样本集提取的特征图在（i，j）位置拟合的多元高斯分布之间的马氏距离，以此来生成该样本对应的全局差异性信息图；
S4.将该全局差异性信息图与对应步骤S3中输入到特征提取网络中的普通训练样本集的样本逐像素点相乘，得到最终携带全局差异性信息的训练数据，对普通训练样本集中的每个样本都进行从步骤S3到本步骤的操作；
S5. 将携带全局差异性信息的训练数据送入到分割网络获得分割结果输出缺陷分数图，并计算损失；
S6.根据损失迭代训练并优化分割网络模型，保存最优分割网络模型参数，用最优模型进行缺陷检测。
2.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S1所述的训练集还包括与普通训练样本集中每个样本对应的真实标签图片。
3.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S2所述的特征提取网络使用预训练的WideResNet502前三层作为特征提取网络，提取融合特征的过程为：基准样本集的图像输入到WideResNet502特征提取网络中，网络第一层输出结果F 1，第二层输出结果F 2，第三层输出结果F 3，首先对F 2上采样，再与F 1拼接，得到C 12，将F 3上采样后再与C 12拼接，拼接后的结果经平均池化层进行池化操作得到最终的融合特征。
4.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S2中对由基准样本集提取的特征向量拟合多元高斯分布
Figure QLYQS_1
如下：
Figure QLYQS_2
，
Figure QLYQS_3
，
其中μ ij 是所有基准样本生成的特征图在（i，j）位置的特征向量的均值，
Figure QLYQS_4
是所有基准样本生成的特征图在（i，j）处的协方差矩阵，N是基准样本集的样本数量，x k ij 表示基准样本集中第k个样本提取的特征图上对应（i，j）位置的特征向量，正则项
Figure QLYQS_5
使样本协方差矩阵满秩且可逆。
5. 根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S3所述的提取融合特征的过程与步骤S2中相同。
6.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S3中马氏距离的计算过程为：计算普通样本集中每个样本提取的特征图中（i，j）位置的特征向量z ij 与由基准样本集提取的特征图在（i，j）位置学习的分布
Figure QLYQS_6
之间的距离，其公式为
Figure QLYQS_7
，
其中z ij 是普通训练集单个样本的特征在（i，j）位置的特征向量，μ ij 、
Figure QLYQS_8
是由基准样本集样本特征在（i，j）位置拟合的多元高斯分布，μ ij 是所有基准样本生成的特征图在（i，j）位置的特征向量的均值，
Figure QLYQS_9
表示所有基准样本生成的特征图在（i，j）处的协方差矩阵，
Figure QLYQS_10
表示
Figure QLYQS_11
的逆，最终可以计算出马氏距离矩阵M k
Figure QLYQS_12
，
其中k表示普通样本集中的第k个样本，对矩阵M k 上采样将尺寸调整为原图像尺寸，即得到全局差异性信息图。
7.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法， 其特征是，步骤S5所述的分割网络中包含卷积模块、上采样模块以及一个1
Figure QLYQS_13
1的卷积层，训 练数据输入到分割网络中，经过卷积模块后得到更深层的特征，再输入到上采样模块中得 到与原图片尺寸相同的向量，最后输入到1
Figure QLYQS_14
1卷积层中，充分融合信息，得到分割结果。
8.根据权利要求7所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法， 其特征是，步骤S5所述的卷积模块含有8个5
Figure QLYQS_15
5的卷积层，1个15
Figure QLYQS_16
15的卷积层以及3个最 大池化层；上采样模块包含3个上采样层，每个上采样层都由一个双线性插值上采样操作和 3个3
Figure QLYQS_17
3的卷积层组成，每一次上采样后的尺寸都变为原来的2倍。
9.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S5中的损失计算为：将分割结果与对应的真实标签图片逐像素对比，使用交叉熵损失函数计算损失，进行网络的反向传播，更新分割网络与特征提取网络的权重，使用的交叉熵损失函数表示为：
Figure QLYQS_18
，
Figure QLYQS_19
，
其中，k表示普通训练集中第k张样本，其取值范围为{1,2,3,…N}；L k 表示第k张训练样本计算出来的损失值；W k 表示第k张样本的宽，H k 表示第k张样本的高；y i,j 表示第k张样本（i，j）位置的像素标签，取值为0或1，1表示异常像素，0表示正常像素；p i,j 表示第k张样本（i，j）位置像素的预测值，表示该位置的像素预测为缺陷的概率，N是样本个数，L total 表示N个样本的平均损失。
10.根据权利要求1所述的一种基于深度学习和全局差异性信息的表面缺陷检测方法，其特征是，步骤S5所述的迭代训练使用SGD优化器，动量设置为0.99，权重衰减系数设置为0.00003，初始学习率设置为0.01，采用阶段性衰减策略改变学习率，加速模型的收敛，批次大小设置为10，即每次读取10张训练集图片作为一次迭代，每次迭代分别计算损失并进行梯度回传、模型参数更新，共迭代1000次。
CN202310504401.XA 2023-05-08 2023-05-08 一种基于深度学习和全局差异性信息的表面缺陷检测方法 Active CN116228754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310504401.XA CN116228754B (zh) 2023-05-08 2023-05-08 一种基于深度学习和全局差异性信息的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310504401.XA CN116228754B (zh) 2023-05-08 2023-05-08 一种基于深度学习和全局差异性信息的表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116228754A true CN116228754A (zh) 2023-06-06
CN116228754B CN116228754B (zh) 2023-08-25

Family

ID=86569818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310504401.XA Active CN116228754B (zh) 2023-05-08 2023-05-08 一种基于深度学习和全局差异性信息的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116228754B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274748A (zh) * 2023-11-16 2023-12-22 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法
CN117292179A (zh) * 2023-09-14 2023-12-26 博瀚智能(深圳)有限公司 基于质检场景的难例筛选方法、系统、设备及存储介质
CN117676099A (zh) * 2024-02-01 2024-03-08 深圳市丛文安全电子有限公司 基于物联网的安全预警方法及系统
CN118396919A (zh) * 2024-02-23 2024-07-26 四川数聚智造科技有限公司 一种基于正样本的深度学习缺陷检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004093252A (ja) * 2002-08-30 2004-03-25 Hitachi Ltd 欠陥検査装置および欠陥検査方法
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
US20220164648A1 (en) * 2020-11-26 2022-05-26 Zecang Gu Clustering method based on self-discipline learning sdl model
CN115187525A (zh) * 2022-06-23 2022-10-14 四川启睿克科技有限公司 基于知识蒸馏的无监督图像缺陷检测方法、装置及介质
CN115222650A (zh) * 2022-04-22 2022-10-21 西安和硕物流科技有限公司 一种混合工业零件缺陷检测算法
CN115424050A (zh) * 2022-09-08 2022-12-02 广东工业大学 一种瓷砖表面缺陷检测及定位方法、系统及存储介质
CN115578325A (zh) * 2022-09-23 2023-01-06 浙江大学计算机创新技术研究院 一种基于通道注意配准网络的图像异常检测方法
CN115861190A (zh) * 2022-11-16 2023-03-28 浙江省白马湖实验室有限公司 一种基于对比学习的光伏组件无监督缺陷检测方法
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004093252A (ja) * 2002-08-30 2004-03-25 Hitachi Ltd 欠陥検査装置および欠陥検査方法
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
US20220164648A1 (en) * 2020-11-26 2022-05-26 Zecang Gu Clustering method based on self-discipline learning sdl model
CN114240885A (zh) * 2021-12-17 2022-03-25 成都信息工程大学 一种基于改进的Yolov4网络的布匹瑕疵检测方法
CN114463296A (zh) * 2022-01-24 2022-05-10 武汉大学 基于单样本学习的轻量化部件缺陷检测方法
CN115222650A (zh) * 2022-04-22 2022-10-21 西安和硕物流科技有限公司 一种混合工业零件缺陷检测算法
CN115187525A (zh) * 2022-06-23 2022-10-14 四川启睿克科技有限公司 基于知识蒸馏的无监督图像缺陷检测方法、装置及介质
CN115424050A (zh) * 2022-09-08 2022-12-02 广东工业大学 一种瓷砖表面缺陷检测及定位方法、系统及存储介质
CN115578325A (zh) * 2022-09-23 2023-01-06 浙江大学计算机创新技术研究院 一种基于通道注意配准网络的图像异常检测方法
CN115861190A (zh) * 2022-11-16 2023-03-28 浙江省白马湖实验室有限公司 一种基于对比学习的光伏组件无监督缺陷检测方法
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
OLIVER RIPPEL 等: "Gaussian Anomaly Detection by Modeling the Distribution of Normal Data in Pretrained Deep Features", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 70, pages 1 - 13, XP011871740, DOI: 10.1109/TIM.2021.3098381 *
V. ELANANGAI 等: "Defect detection and recognition of SS plate using deep autoencoder neural network", 《2023 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND KNOWLEDGE DISCOVERY IN CONCURRENT ENGINEERING (ICECONF)》, pages 1 - 8 *
何健: "基于预训练分层特征区域建模的表面缺陷检测算法", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, vol. 2023, no. 2, pages 028 - 861 *
冯立伟 等: "基于双近邻标准化和PCA的多阶段过程故障检测", 《化工学报》, vol. 69, no. 7, pages 3159 - 3166 *
李贤慧 等: "基于概率距离及融合时空特征的镜头相似性度量", 《计算机应用研究》, vol. 27, no. 4, pages 1526 - 1529 *
陈祥凤 等: "度量学习改进语义自编码零样本分类算法", 《北京邮电大学学报》, vol. 41, no. 4, pages 69 - 75 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292179A (zh) * 2023-09-14 2023-12-26 博瀚智能(深圳)有限公司 基于质检场景的难例筛选方法、系统、设备及存储介质
CN117274748A (zh) * 2023-11-16 2023-12-22 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法
CN117274748B (zh) * 2023-11-16 2024-02-06 国网四川省电力公司电力科学研究院 基于离群抑制的终生学习电力模型训练及检测方法
CN117676099A (zh) * 2024-02-01 2024-03-08 深圳市丛文安全电子有限公司 基于物联网的安全预警方法及系统
CN117676099B (zh) * 2024-02-01 2024-04-05 深圳市丛文安全电子有限公司 基于物联网的安全预警方法及系统
CN118396919A (zh) * 2024-02-23 2024-07-26 四川数聚智造科技有限公司 一种基于正样本的深度学习缺陷检测方法及装置

Also Published As

Publication number Publication date
CN116228754B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN116228754B (zh) 一种基于深度学习和全局差异性信息的表面缺陷检测方法
CN111126359B (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN110189255A (zh) 基于两级检测的人脸检测方法
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN109143408B (zh) 基于mlp的动态区域联合短时降水预报方法
CN111160407A (zh) 一种深度学习目标检测方法及系统
CN112580694B (zh) 基于联合注意力机制的小样本图像目标识别方法及系统
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN111414931A (zh) 一种基于图像深度的多分支多尺度小目标检测方法
CN116935226B (zh) 一种基于HRNet的改进型遥感图像道路提取方法、系统、设备及介质
CN115953371A (zh) 一种绝缘子缺陷检测方法、装置、设备和存储介质
CN118279665A (zh) 一种基于yolo网络的铸件缺陷检测系统
CN114037684B (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN112381730B (zh) 一种遥感影像数据扩增方法
CN117011515A (zh) 基于注意力机制的交互式图像分割模型及其分割方法
JP6950647B2 (ja) データ判定装置、方法、及びプログラム
CN116363610A (zh) 一种基于改进YOLOv5的航拍车辆旋转目标检测方法
CN116543315A (zh) 基于前景注意力网络的遥感图像目标检测方法
CN113658217B (zh) 一种自适应目标跟踪方法、装置及存储介质
CN115775231A (zh) 一种基于Cascade R-CNN的金具缺陷检测方法及系统
CN111523258B (zh) 基于MS-Net网络的微地震有效信号初至拾取方法及系统
CN113920311A (zh) 一种基于边缘辅助信息的遥感图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant