CN116580014A - 一种工业缺陷检测方法及系统 - Google Patents

一种工业缺陷检测方法及系统 Download PDF

Info

Publication number
CN116580014A
CN116580014A CN202310570502.7A CN202310570502A CN116580014A CN 116580014 A CN116580014 A CN 116580014A CN 202310570502 A CN202310570502 A CN 202310570502A CN 116580014 A CN116580014 A CN 116580014A
Authority
CN
China
Prior art keywords
feature
normal
industrial
layer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310570502.7A
Other languages
English (en)
Inventor
沈卫明
姜雨欣
曹云康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202310570502.7A priority Critical patent/CN116580014A/zh
Publication of CN116580014A publication Critical patent/CN116580014A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种工业缺陷检测方法及系统，属于工业图像处理技术领域，提供了一种基于图像级别和特征级别掩码策略的正常特征重构模型，可以根据异常特征重构出正常特征；在图像级别掩码策略中，从正常工业图像和基于正常图像构建的异常工业图像中提取正常和异常特征，分别作为输入信号和监督信号；输入信号和监督信号的不同促进了模型对全局信息的学习，以指导异常区域的重构。在特征级别掩码策略中，对融合压缩后的异常特征图进行特征提取后，随机掩盖掉所得的特征图的部分特征，然后对缺失部分进行重构，以强调像素间的局部相关性，有利于图像细粒度重构。两种掩码策略的应用能成功解决过泛化问题，工业缺陷检测的准确率较高。

Description

一种工业缺陷检测方法及系统
技术领域
本发明属于工业图像处理技术领域，更具体地，涉及一种工业缺陷检测方法及系统。
背景技术
随着工业4.0时代的来临，数字化、信息化、智能化成为工业制造中的重要发展方向。建筑、机械、电子等行业都开始向智能化转型。在工业生产过程中，由于现有工作条件以及人员技术的局限性，产品质量极易受到影响。其中，表面缺陷是产品质量受到影响的最直观表现，因此，为了保证合格率和产品质量的可靠性，必须进行产品表面缺陷检测，即表面缺陷检测是工业质量检测中的关键一环。传统的产品缺陷大多由熟练的质检人员根据人工经验进行检测。由于质检人员在检测时可能出现视觉疲劳，容易受环境因素干扰，并且每个人对于瑕疵的判断都不尽相同，这就使得检测效率和质量难以得到保证。因此现在很多企业选择用机器视觉设备来替代人工做一些重复性的工作，提高企业的生产效率以及产品质量。
图像异常检测旨在对同质图像中的异质区域进行识别和定位，已广泛应用于制造业缺陷检测、医疗诊断、视频监控等领域。在许多工业场景中，如质量控制和表面缺陷，异常样本的采集昂贵且耗时，且异常样本不足会限制有监督方法在实际生产中的应用。为了解决这个问题，涌现出了大量的无监督方法，这些方法虽仅使用正常样本进行训练，但可成功定位出测试图片中的异常区域。现有的无监督异常检测方法可分为基于分布的方法、基于重构的方法和基于知识蒸馏的方法。
基于知识蒸馏的异常检测方法通常包含一个教师网络和一个学生网络，其中教师网络提供监督信号，帮助学生网络重构正常数据。这种基于知识蒸馏方法中的一个简单而基本的假设是：如果学生网络只感知正常样本，那么面对输入为异常样本时，学生网络输出的重构特征会与其输入特征有很大的差异。这种差异可作为异常程度的判断标准。然而，对于一些与正常特征相似的异常输入特征，学生网络仍可对其完好地重构，即该方法存在过泛化问题，使得输入学生网络的特征与学生网络重构的特征之间的差异较小，从而导致缺陷的漏检，工业缺陷检测的准确率较低。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种工业缺陷检测方法及系统，用以解决现有技术由于模型存在过泛化问题导致工业缺陷检测的准确率较低的技术问题。
为了实现上述目的，第一方面，本发明提供了一种工业缺陷检测方法，包括：
对待检测的工业图像xt进行N层特征提取，得到xt的N层原始特征图后，输入到正常特征重构模型中，得到xt的N层正常特征图；比较xt的N层原始特征图与N层正常特征图之间的差异，若差异值大于预设阈值时，则判定待检测的工业图像存在工业缺陷；否则，判定待检测的工业图像不存在工业缺陷；
其中，N≥1；正常特征重构模型采用以下方式训练得到：
对训练样本集中的每一对正常工业图像xn和基于xn所构建的相同大小的异常工业图像xa分别进行N层特征提取，得到xn的N层正常特征图，以及xa的N层异常特征图；
将xa的N层异常特征图输入到正常特征重构模型中，正常特征重构模型将xa的N层特征图按通道进行融合后，进行压缩，得到异常特征图fB；对fB进行N层特征提取后，对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图；xa的每一层正常特征图与其对应层的异常特征图的大小相同；
通过最小化xn与xa的对应层正常特征图之间的差异之和，以对正常特征重构模型中的参数进行训练。
进一步优选地，在工业缺陷检测过程中，采用教师网络对待检测的工业图像进行N层特征提取；
在正常特征重构模型的训练过程中，采用教师网络对训练样本集中的每一对正常工业图像xn和基于xn所构建的异常工业图像xa分别进行N层特征提取；
其中，教师网络为特征提取模型。
进一步优选地，正常特征重构模型包括：级联的瓶颈模块、学生网络、随机掩码模块和重构模块；学生网络为教师网络的倒置结构；
瓶颈模块用于将xa的N层特征图按通道进行融合后，在通道维度上进行压缩，得到异常特征图fB；
学生网络用于对fB进行N层特征提取；
随机掩码模块用于对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；
重构模块用于分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图。
进一步优选地，重构模块包括：级联的第一卷积层、激活层和第二卷积层。
进一步优选地，采用余弦相似度函数度量xn与xa的第l层正常特征图之间的差异；l＝1,2,…,N。
进一步优选地，正常特征重构模型的损失函数用于度量xn与xa的对应层正常特征图之间的差异之和，具体为：
其中，为xn的第l层正常特征图；/>为xa的第l层正常特征图；vec(·)表示向量化操作。
进一步优选地，基于正常工业图像xn构建异常工业图像xa的方法为：
从正常工业图像xn中裁剪出一个或多个图像块，并将其粘贴在xn的其他位置处，得到异常工业图像xa。
进一步优选地，xt的N层原始特征图与N层正常特征图之间的差异SAD为：
SAD＝max(SAL(h,w))
其中，SAL(h,w)为xt的N层原始特征图与N层正常特征图之间的差异度量图SAL第h行第w列的像素值；h＝1,2,…,H；w＝1,2,…,W；H为SAL的长度；W为SAL的宽度；
Φ(·)表示上采样操作，用于将各层差异度量图的尺寸变换到相同大小H×W；为第l层差异度量图第hl行第wl列的像素值；/>为xt的第l层原始特征图各通道下的第hl行第wl列的像素值所构成的向量；/>为xt的第l层正常特征图像各通道下的第hl行第wl列的像素值所构成的向量；hl＝1,2,…,Hl；wl＝1,2,…,Wl；Hl为第l层原始特征图的长度；Wl为第l层原始特征图的宽度。
第二方面，本发明提供了一种工业缺陷检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明第一方面所提供的工业缺陷检测方法。
第三方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明第一方面所提供的工业缺陷检测方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
1、本发明提供了一种工业缺陷检测方法，提供了一种可以根据异常特征重构出正常特征的正常特征重构模型，基于正常特征重构模型提取到待检测的工业图像的正常特征后，将待检测的工业图像的原始特征与提取到的正常特征进行差异判别，以判断是否存在工业缺陷；其中，正常特征重构模型的训练策略包括图像级别掩码策略和特征级别掩码策略；在图像级别掩码策略中，从正常工业图像和基于正常图像构建的异常工业图像中提取正常特征和异常特征，分别作为输入信号和监督信号；输入信号和监督信号的不同促进了正常特征重构模型对全局信息的学习，以指导异常区域的重构。在特征级别掩码策略中，对融合压缩后的异常特征图fB进行特征提取后，随机掩盖掉所得的特征图的部分特征，然后对缺失部分进行重构，以强调像素间的局部相关性，有利于图像细粒度重构。两种掩码策略的应用能够成功解决过泛化问题，有效提升了工业图像缺陷检测的准确率。
2、进一步地，本发明所提供的工业缺陷检测方法，所采用的正常特征重构模型包括级联的瓶颈模块、学生网络、随机掩码模块和重构模块；瓶颈模块能够减少维度，去除冗杂信息，降低运算量，也减少了传入学生网络的特征中所包含的异常信息量，使学生网络能够更容易实现特征恢复。进一步地，不同于传统的知识蒸馏方法中将学生网络和教师网络均作为编码器，本发明将教师网络充当编码器，将学生网络设置为教师网络的倒置，充当解码器，来扩大学生网络和教师网络提取特征之间的差异，以提高异常定位的准确性。
3、进一步地，在本发明所提供的工业缺陷检测方法中，重构模块包括：级联的第一卷积层、激活层和第二卷积层，结构较为简洁，计算效率较高。
4、进一步地，在本发明所提供的工业缺陷检测方法中，基于余弦相似度函数来度量xt的N层原始特征图与N层正常特征图之间的差异，以及正常特征重构模型的损失函数，余弦相似度体现了方向上的相对差异，更加准确；除此之外，本发明将各层特征图差异进行融合，其中，浅层特征主要包含低尺度纹理信息，而深层特征在提取大尺度结构信息方面具有显著优势，融合后更有利于定位异常。
附图说明
图1为本发明实施例1提供的一种正常特征重构模型的训练流程图；
图2为本发明实施例1提供的基于正常工业图像构建异常工业图像的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了实现上述目的，本发明提供了一种基于掩码反向知识蒸馏的工业缺陷检测方法，其目的在于训练出一个可以根据异常特征重构出正常特征的模型。这种模型重构出的“正常特征”会与输入的异常特征产生较大的差异，该差异可作为异常定位的重要依据。本发明通过综合利用全局和局部信息，使模型能够根据输入的异常特征重建出正常特征以扩大输入特征和输出特征之间的差异，从而根据该差异实现更精确的缺陷定位。为了进一步说明本发明所提供的工业缺陷检测方法，下面结合具体实施例进行详述：
实施例1、
一种工业缺陷检测方法，包括：
对待检测的工业图像xt进行N层特征提取，得到xt的N层原始特征图后，输入到正常特征重构模型中，得到xt的N层正常特征图；比较xt的N层原始特征图与N层正常特征图之间的差异，若差异值大于预设阈值时，则判定待检测的工业图像存在工业缺陷；否则，判定待检测的工业图像不存在工业缺陷；其中，N≥1；
需要说明的是，可以基于欧式距离、曼哈顿距离等距离公式直接比较xt的N层原始特征图与N层正常特征图之间的差异，还可以基于余弦相似度公式来比较xt的N层原始特征图与N层正常特征图之间的差异。
优选地，基于余弦相似度进行差异的度量，具体地，在一种可选实施方式下，xt的N层原始特征图与N层正常特征图之间的差异SAD为：
SAD＝max(SAL(h,w))
其中，SAL(h,w)为xt的N层原始特征图与N层正常特征图之间的差异度量图SAL第h行第w列的像素值；h＝1,2,…,H；w＝1,2,…,W；H为SAL的长度；W为SAL的宽度；
Φ(·)表示上采样操作，用于将各层差异度量图的尺寸变换到相同大小H×W；为第l层差异度量图第hl行第wl列的像素值；/>为xt的第l层原始特征图各通道下的第hl行第wl列的像素值所构成的向量；/>为xt的第l层正常特征图像各通道下的第hl行第wl列的像素值所构成的向量；hl＝1,2,…,Hl；wl＝1,2,…,Wl；Hl为第l层原始特征图的长度；Wl为第l层原始特征图的宽度。
需要说明的是，欧式距离等距离度量只能体现数值上的绝对差异，而余弦相似度体现了方向上的相对差异，更加准确；除此之外，本发明将各层特征图差异进行融合，其中，浅层特征主要包含低尺度纹理信息，而深层特征在提取大尺度结构信息方面具有显著优势，融合后更有利于定位异常。
本实施方式下的预设阈值为0.5。
具体地，正常特征重构模型采用以下方式训练得到：
对训练样本集中的每一对正常工业图像xn和基于xn所构建的相同大小的异常工业图像xa分别进行N层特征提取，得到xn的N层正常特征图，以及xa的N层异常特征图；
将xa的N层异常特征图输入到正常特征重构模型中，正常特征重构模型将xa的N层特征图按通道进行融合(加和)后，进行压缩，得到异常特征图fB；对fB进行N层特征提取后，对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图；xa的每一层正常特征图与其对应层的异常特征图的大小相同；
通过最小化xn与xa的对应层正常特征图之间的差异之和，以对正常特征重构模型中的参数进行训练。
具体地，如图1所示，在一种可选实施方式下，在工业缺陷检测过程中，采用教师网络对待检测的工业图像进行N层特征提取；本实施方式中N＝3；
在正常特征重构模型的训练过程中，采用教师网络对训练样本集中的每一对正常工业图像xn和基于xn所构建的异常工业图像xa分别进行N层特征提取；
其中，教师网络为特征提取模型，如残差模型、VGG模型、yolo模型(yolov3、yolov4、yolov5)等。
进一步地，正常特征重构模型包括：级联的瓶颈模块、学生网络、随机掩码模块和重构模块；学生网络为教师网络的倒置结构，即学生网络的第i层为教师网络的第M-i+1层；M为教师网络的总层数；
瓶颈模块用于将xa的N层特征图按通道进行融合(加和)后，在通道维度上进行压缩，得到异常特征图fB；需要说明的是，瓶颈模块可以为RD4AD网络(见H.Deng and X.Li,Anomaly Detection via Reverse Distillation from One-Class Embedding,inProceedings of IEEE Conference on Computer Vision and Pattern Recognition,2022,pp.9727-9736)中的瓶颈模块，还可以为两层1×1的卷积层。需要说明的是，只要能够实现通道数压缩的模块都可以，这里不做限定。瓶颈模块能够减少维度，去除冗杂信息，降低运算量，也减少了传入学生网络的特征所包含的异常信息量，使学生网络能够更容易完成特征恢复。
学生网络用于对fB进行N层特征提取；需要说明的是，在传统的知识蒸馏中，学生网络和教师网络相似，都充当的是编码器的作用，这容易导致两者提取出相似的特征，从而使得二者差异缩小，难以定位出异常。本发明将教师网络充当编码器，将学生网络设置为教师网络的倒置，充当解码器，来增大学生网络和教师网络提出出的特征之间的差异，以提高异常定位的准确性。
随机掩码模块用于对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；
重构模块用于分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图。
进一步需要说明的是，重构模块基于卷积层构建得到；优选地，在一种可选实施方式下，重构模块包括：级联的第一卷积层、激活层和第二卷积层。需要说明的是，第一卷积层和第二卷积层的数量均可为多层，并不拘泥于一层。本发明所设计的重构模块的结构较为简洁，计算效率较高。
优选地，在一种可选实施方式下，基于余弦相似度公式来度量xn与xa的对应层正常特征图之间的差异之和；具体地，用于度量xn与xa的对应层正常特征图之间的差异之和的正常特征重构模型的损失函数为：
其中，为xn的第l层正常特征图；/>为xa的第l层正常特征图；vec(·)表示向量化操作。
需要说明的是，除了采用上述余弦相似度公式进行度量，还可以用欧式距离公式、曼哈顿距离公式、结构相似度公式SSIM、均方误差公式MSE等，这里不做限定。
需要说明的是，欧式距离等距离度量只能体现数值上的绝对差异，而余弦相似度体现了方向上的相对差异，更加准确；除此之外，本发明将各层特征图差异进行融合，其中，浅层特征主要包含低尺度纹理信息，而深层特征在提取大尺度结构信息方面具有显著优势，融合后更有利于定位异常。
需要说明的是，可以采用Cutpaste算法(见Cutpaste:Self-supervised learningfor anomaly detection and localization.In:Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition(CVPR).pp.9664–9674(June2021))、NSA算法(见H.M.Schlüter,J.Tan,B.Hou,and B.Kainz,Natural SyntheticAnomalies for Self-supervised Anomaly Detection and Localization,in:EuropeanConference on Computer Vision,2022,pp.474-489)、FPI算法(见Tan,J.,Hou,B.,Batten,J.,Qiu,H.,Kainz,B.:Detecting outliers with foreign patchinterpolation.Machine Learning for Biomedical Imaging)、PII算法(见Tan,J.,Hou,B.,Day,T.,Simpson,J.,Rueckert,D.,Kainz,B.:Detecting outliers with poissonimage interpolation.In:Medical Image Computing and Computer AssistedIntervention–MICCAI 2021.pp.581–591.Springer International Publishing,Cham(2021))等方法，基于正常工业图像xn构建异常工业图像xa。优选地，如图2所示，在一种可选实施方式下，基于正常工业图像xn构建异常工业图像xa的方法为：从正常工业图像xn中裁剪出一个或多个图像块，并将其粘贴在xn的其他位置处，得到异常工业图像xa。该方法较为简单，容易实现，还具有以下优点：1)利用泊松图像编辑技术，能够将合成的异常区域自然地融入到原始图像中。2)通过缩放、移动和一种新的基于伽马分布的形状采样策略，增加了生成异常的多样性。3)通过施加背景约束，能够将生成的异常补丁更多的粘贴在图像的前景中。具体地，图2中的第一列为正常工业图像xn，后面几列为基于正常工业图像xn所构建的异常工业图像xa。
为了进一步说明本发明所提供的工业缺陷检测方法，下面结合一个具体实施方式进行详述：
在正常特征重构模型的训练阶段，本发明提出了一种掩码反向知识蒸馏的方法用于引导学生网络将异常特征重构为正常特征。本发明引入了一个教师网络，用于提取图像特征，在此基础上，若将教师网络提取的特征同时作为学生网络的输入信号以及监督信号会导致学生网络提取高层次语义特征的能力较差，从而使学生网络对异常区域也能够完好地重构其特征。因此，本发明采用了图像级别掩码和特征级别掩码来促使学生网络综合学习全局信息以及局部信息，从而提取更高层次语义信息来缓解过泛化的问题。具体来说，在图像级别掩码中，本发明依据正常图像创建异常样本。教师网络从正常和创建的异常样本中提取出正常和异常两种类型的特征，并将正常特征设为监督信号，将异常特征设为输入信号。其中只有输入信号被传输到学生网络。学生网络需要利用全局信息，对输入网络的异常特征进行推断、重构为与教师网络提取的正常特征相同的特征，从而缓解过泛化问题。在特征级别掩码中，本发明对学生网络输出的部分像素进行随机掩码，并通过重构模块利用剩余像素重构整个特征。缺失的像素可以通过相邻像素进行推断，从而增强了网络对局部信息的利用，使得重构特征更加精细，对图像级别掩码起到了有效的补充。
1)图像级别掩码
为了赋予学生网络将真实异常重构为正常特征的能力，本发明需要生成与真实异常相似的合成异常。在本实施方式下，从训练集图片中裁剪一些补丁，然后将其粘贴在输入图片xn上，得到合成的异常图片xa。
本实施方式使用预训练后的残差网络作为教师网络T进行图像语义信息的提取。在训练过程中，教师网络的权重被冻结(保持不变)。对于网络的输出特征层，本发明将其定义为l∈{1,2,…N}；其中l代表特征层的层数。xn和xa被输入到T中以获得正常特征/>和异常特征/> 作为学生网络输入信号，/>作为监督信号:
本实施例中遵循了RD4AD网络的设计，使用了相同的瓶颈模块。仅被输入进瓶颈模块，获得被压缩的异常特征fB，被用于学生网络的训练。
图像级别的掩码从本质上改变了网络的重构方式，从直接将输入复制为输出到利用全局信息来推断重构区域。现有方法仅在正常样本上训练模型，希望以此抑制学生网络对异常样本的重构能力。但由于监督信号与输入信号相同，学生网络对全局信息的捕获能力未被充分发掘，意外地导致了对异常特征的泛化。因而，本发明使用合成的异常特征作为学生网络的输入信号，使用正常特征/>作为监督信号。在这种设置下，学生网络更关注全局信息，通过对图片语义和结构关系的理解，推测、重构出教师网络提取出的对应的正常图像特征/>
2)特征级别掩码
在完成特征和fB的提取后，本发明仅将fB输入学生网络S得到输出特征而后随机掩盖掉/>中的一些像素，并将掩盖后的特征图输入重构模块G，以期实现特征图的恢复，获得最终的输出特征/>其中G包含两个卷积层Wl1和Wl2,一个激活层ReLU。该过程可用如下公式表示：
其中，Rl(h,w)是(0,1)中的随机数，λ代表掩码比例，Ml是生成的掩码。
为了使生成的特征属于正常数据流，本发明将其和/>对齐。具体来说，本实施例定义一个向量化方程vec(·)将/>和/>转换成1×D维向量。之后使用余弦相似度函数比较特征/>和/>之间的相似度并且将每个输出层的取值相加作为损失函数值,其定义如下：
特征级别的掩码策略是通过掩盖特征图中一部分像素，并对其进行还原，从而提高局部信息的利用率。由于像素的掩盖是随机的，当掩盖比例不是特别高时，在被掩盖像素的周围总会有一些剩余像素。且这些剩余像素是被压缩的高维特征表达，其已经包含了一些关于被掩盖像素的信息。因此，正常特征重构模型更多依赖周围像素完成对缺失像素的重建，迫使正常特征重构模型掌握更多的局部信息。
综上，在图像级别掩码中，首先掩盖一部分正常图像中的信息以合成异常图像，而后教师网络从合成的异常和正常图像中提取异常和正常特征，分别作为监督信号和输入信号。监督信号和输入信号的不同促进了网络对全局信息的学习，以指导异常区域的重构。在特征级别掩码中，学生网络输出层被随机掩盖掉部分特征，然后用一个简单模块进行还原，以强调像素间的局部相关性，有利于图像细粒度重构。两种掩码策略的应用使得所提出的掩码反向知识蒸馏方法能成功抑制过泛化，有效提升现有工业图像缺陷检测性能。
进一步地，在正常特征重构模型训练完成后，在应用阶段进行工业缺陷检测：
此时，本发明不再执行图像层面的掩码，而是直接将测试图片xt输入教师网络和瓶颈模块，以得到压缩后的特征在完成训练阶段后，学生网络能够将异常特征恢复为正常特征/>因此/>和/>之间的距离可以用于异常区域定位。本实施例通过计算和/>之间沿通道轴的余弦相似度来获得像素级别的差异度量图SAL。对于异常检测，SAL中的最大值SAD可以表示出/>与/>之间的最大差值，因此采用SAD作为图像级别异常评分，具体地：
SAD＝max(SAL(h,w))
其中，SAL(h,w)为xt的N层原始特征图与N层正常特征图之间的差异度量图SAL第h行第w列的像素值；h＝1,2,…,H；w＝1,2,…,W；H为SAL的长度；W为SAL的宽度；
Φ(·)表示上采样操作，用于将各层差异度量图的尺寸变换到相同大小H×W；为第l层差异度量图第hl行第wl列的像素值；/>为xt的第l层原始特征图各通道下的第hl行第wl列的像素值所构成的向量；/>为xt的第l层正常特征图像各通道下的第hl行第wl列的像素值所构成的向量；hl＝1,2,…,Hl；wl＝1,2,…,Wl；Hl为第l层原始特征图的长度；Wl为第l层原始特征图的宽度。
综上，本发明提出的一种基于掩码反向知识蒸馏的工业缺陷检测方法。该方法采取了图像和像素层面的两种掩码策略，鼓励网络增强对全局和局部信息的综合理解。所构建的正常特征重构模型能够实现异常到正常的复杂整体重构，极大地扩大了异常间的差异，有助于解决基于知识蒸馏的异常检测方法中存在的过泛化问题。
实施例2、
一种工业缺陷检测系统，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行本发明实施例1所提供的工业缺陷检测方法。
相关技术方案同实施例1，这里不做赘述。
实施例3、
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行本发明实施例1所提供的工业缺陷检测方法。
相关技术方案同实施例1，这里不做赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工业缺陷检测方法，其特征在于，包括：对待检测的工业图像xt进行N层特征提取，得到xt的N层原始特征图后，输入到正常特征重构模型中，得到xt的N层正常特征图；比较xt的N层原始特征图与N层正常特征图之间的差异，若差异值大于预设阈值时，则判定存在工业缺陷；否则，判定不存在工业缺陷；
其中，N≥1；所述正常特征重构模型采用以下方式训练得到：
对训练样本集中的每一对正常工业图像xn和基于xn所构建的相同大小的异常工业图像xa分别进行N层特征提取，得到xn的N层正常特征图，以及xa的N层异常特征图；
将xa的N层异常特征图输入到所述正常特征重构模型中，所述正常特征重构模型将xa的N层特征图按通道进行融合后，进行压缩，得到异常特征图fB；对fB进行N层特征提取后，对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图；xa的每一层正常特征图与其对应层的异常特征图的大小相同；
通过最小化xn与xa的对应层正常特征图之间的差异之和，以对所述正常特征重构模型中的参数进行训练。
2.根据权利要求1所述的工业缺陷检测方法，其特征在于，在工业缺陷检测过程中，采用教师网络对待检测的工业图像进行N层特征提取；
在所述正常特征重构模型的训练过程中，采用所述教师网络对训练样本集中的每一对正常工业图像xn和基于xn所构建的异常工业图像xa分别进行N层特征提取；
其中，所述教师网络为特征提取模型。
3.根据权利要求2所述的工业缺陷检测方法，其特征在于，所述正常特征重构模型包括：级联的瓶颈模块、学生网络、随机掩码模块和重构模块；所述学生网络为所述教师网络的倒置结构；
所述瓶颈模块用于将xa的N层特征图按通道进行融合后，在通道维度上进行压缩，得到异常特征图fB；
所述学生网络用于对fB进行N层特征提取；
所述随机掩码模块用于对fB的每一层特征图进行随机掩码处理，得到N个残缺特征图；
所述重构模块用于分别对每一个残缺特征图中的缺失像素进行重构，从而得到xa的N层正常特征图。
4.根据权利要求3所述的工业缺陷检测方法，其特征在于，所述重构模块包括：级联的第一卷积层、激活层和第二卷积层。
5.根据权利要求1所述的工业缺陷检测方法，其特征在于，采用余弦相似度函数度量xn与xa的第l层正常特征图之间的差异；l＝1，2，…，N。
6.根据权利要求5所述的工业缺陷检测方法，其特征在于，所述正常特征重构模型的损失函数用于度量xn与xa的对应层正常特征图之间的差异之和，具体为：
其中，为xn的第l层正常特征图；/>为xa的第l层正常特征图；vec(·)表示向量化操作。
7.根据权利要求1所述的工业缺陷检测方法，其特征在于，基于正常工业图像xn构建异常工业图像xa的方法为：
从正常工业图像xn中裁剪出一个或多个图像块，并将其粘贴在xn的其他位置处，得到异常工业图像xa。
8.根据权利要求1-7任意一项所述的工业缺陷检测方法，其特征在于，xt的N层原始特征图与N层正常特征图之间的差异SAD为：
SAD＝max(SAL(h，w))
其中，SAL(h，w)为xt的N层原始特征图与N层正常特征图之间的差异度量图SAL第h行第w列的像素值；h＝1，2，…，H；w＝1，2，…，W；H为SAL的长度；W为SAL的宽度；
Φ(·)表示上采样操作，用于将各层差异度量图的尺寸变换到相同大小H×W；为第l层差异度量图第hl行第wl列的像素值；/>为xt的第l层原始特征图各通道下的第hl行第wl列的像素值所构成的向量；/>为xt的第l层正常特征图像各通道下的第hl行第wl列的像素值所构成的向量；hl＝1，2，…，Hl；wl＝1，2，…，Wl；Hl为第l层原始特征图的长度；Wl为第l层原始特征图的宽度。
9.一种工业缺陷检测系统，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时执行权利要求1-8任意一项所述的工业缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1-8任意一项所述的工业缺陷检测方法。
CN202310570502.7A 2023-05-19 2023-05-19 一种工业缺陷检测方法及系统 Pending CN116580014A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310570502.7A CN116580014A (zh) 2023-05-19 2023-05-19 一种工业缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310570502.7A CN116580014A (zh) 2023-05-19 2023-05-19 一种工业缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN116580014A true CN116580014A (zh) 2023-08-11

Family

ID=87533715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310570502.7A Pending CN116580014A (zh) 2023-05-19 2023-05-19 一种工业缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN116580014A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN117593304B (zh) * 2024-01-19 2024-04-26 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Similar Documents

Publication Publication Date Title
Rudolph et al. Fully convolutional cross-scale-flows for image-based defect detection
Zheng et al. A defect detection method for rail surface and fasteners based on deep convolutional neural network
Carrara et al. Combining gans and autoencoders for efficient anomaly detection
CN110263756A (zh) 一种基于联合多任务学习的人脸超分辨率重建系统
Wang et al. Defect transformer: An efficient hybrid transformer architecture for surface defect detection
CN114170184A (zh) 一种基于嵌入特征向量的产品图像异常检测方法及装置
Branikas et al. A novel data augmentation method for improved visual crack detection using generative adversarial networks
CN116416497B (zh) 一种轴承故障诊断系统及方法
CN115222650A (zh) 一种混合工业零件缺陷检测算法
CN104778692A (zh) 一种基于稀疏表示系数优化的织物疵点检测方法
CN116580014A (zh) 一种工业缺陷检测方法及系统
CN117830781A (zh) 缺陷检测模型的构建方法、缺陷检测方法、装置及设备
CN116630286B (zh) 一种图像异常检测与定位的方法、装置、设备及存储介质
CN116166966B (zh) 一种基于多模态数据融合的水质劣化事件检测方法
CN115205650B (zh) 基于多尺度标准化流的无监督异常定位与检测方法及装置
CN112529881B (zh) 一种电力控制柜线缆异常识别方法及装置
CN114841977A (zh) 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法
Oz et al. A nested autoencoder approach to automated defect inspection on textured surfaces
CN114862803A (zh) 一种基于快速傅里叶卷积的工业图像异常检测方法
Li et al. Industrial anomaly detection via teacher student network
Qi et al. SAIT: Harnessing Sparse Annotations and Intrinsic Tasks for Semisupervised Aeroengine Defect Segmentation
Sun et al. Unsupervised learning based target localization method for pantograph video
Wang et al. Multi-feature Reconstruction Network using Crossed-mask Restoration for Unsupervised Anomaly Detection
CN116912183B (zh) 一种基于边缘引导和对比损失的深度修复图像的篡改定位方法及系统
Chen et al. A Novel Denoising Autoencoder Method for Surface Defect Detection of Screw Products

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination