CN115439442A - 基于共性和差异的工业品表面缺陷检测与定位方法及系统 - Google Patents

基于共性和差异的工业品表面缺陷检测与定位方法及系统 Download PDF

Info

Publication number
CN115439442A
CN115439442A CN202211074652.0A CN202211074652A CN115439442A CN 115439442 A CN115439442 A CN 115439442A CN 202211074652 A CN202211074652 A CN 202211074652A CN 115439442 A CN115439442 A CN 115439442A
Authority
CN
China
Prior art keywords
convolution
image
module
defect
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211074652.0A
Other languages
English (en)
Inventor
熊炜
田紫欣
郑大定
汪锋
张军
陈奕博
强观臣
李敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xingsheng Electrical Equipment Research Institute Co ltd
Original Assignee
Hubei Xingsheng Electrical Equipment Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xingsheng Electrical Equipment Research Institute Co ltd filed Critical Hubei Xingsheng Electrical Equipment Research Institute Co ltd
Priority to CN202211074652.0A priority Critical patent/CN115439442A/zh
Publication of CN115439442A publication Critical patent/CN115439442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

本发明公开了一种基于共性和差异的工业品表面缺陷检测与定位方法及系统，U‑Net架构，使用预先训练好的ResNet作为编码器。从差异和共性的角度出发，引入模拟缺陷样本和内存记忆模块，以更有导向性的方式辅助模型学习，从而以端到端的方式完成半监督的表面缺陷检测任务。同时，为了将内存记忆信息与输入图像的高级特征充分融合，本发明还引入了多尺度特征融合模块和新型空间注意力模块，极大地提升了缺陷定位的模型精度。在训练阶段通过人工模拟的方式生成缺陷样本，与存储在内存中的正常样本信息进行多尺度特征融合，完成语义分割任务，并在推理阶段对图像中的缺陷区域进行端到端定位。

Description

基于共性和差异的工业品表面缺陷检测与定位方法及系统
技术领域
本发明属于人工智能、深度学习及图像处理技术领域，涉及一种工业产品表面缺陷检测与定位方法及系统，特别涉及一种基于共性和差异的工业产品表面缺陷检测与定位方法及系统。
背景技术
工业产品表面缺陷检测，旨在发现各种工业产品的外观瑕疵，是保障产品质量、维持生产稳定的重要技术之一。以往的缺陷检测需要人工筛查，成本高、效率低，难以覆盖大规模的质检需求。近年来，随着工业成像、计算机视觉和深度学习等领域的新技术层出不穷，基于视觉的工业产品表面缺陷检测技术得到了长足的发展，成为了针对产品外观质检的一种有效的解决方案，引发了学术界和工业界的强烈关注。工业缺陷检测不仅可以用于检测各种工业制品，如金属、纺织物、半导体等，而且具有优秀的检测精度与效率，还能提供简便、安全的操作环境。因此，工业缺陷检测已成为智能制造领域重要的基础研究与技术之一，并被广泛应用于无人质检、智能巡检、生产控制和异常溯源等场景。
工业场景下产品表面缺陷检测对于工业智能化发展至关重要。表面缺陷检测是一个定位图像中异常区域的问题，如划痕和污点。但在实际应用中，由于产品表面缺陷样本匮乏，加之缺陷形式多样，通过传统的监督学习进行缺陷检测比较困难。因此，基于半监督技术的表面缺陷检测方法在实际应用中更具有优势，它在训练阶段只需要正常样本。
大多数基于半监督技术的产品表面缺陷检测模型试图有效地学习正常样本的一般模式。例如基于自动编码器(AE)或生成对抗网络(GAN)的重建模型旨在以最小的误差重建正常图像，并根据重建误差来定位缺陷。但由于CNN强大的泛化能力，缺陷区域也可能在推理阶段被正确重建，这显然违反了重建模型的基本假设。最近，基于嵌入的方法显示出比基于重建的方法更好的缺陷检测性能。其基本原理是测试样本和正常样本之间的特征匹配。虽然这类模型在训练阶段所需时间不多，但在推理阶段需要进行复杂的特征匹配操作，为模型的推理带来了过多的计算成本。此外，这类模型没有使用特定的表面缺陷数据集进行训练，而是直接使用预先训练好的参数进行特征提取和表面缺陷检测，对缺陷检测任务的适应性不够强。
发明内容
为了解决上述技术问题，本发明提出了一种基于共性和差异的工业产品表面缺陷检测与定位方法及系统。
本发明的方法所采用的技术方案是：一种基于共性和差异的工业品表面缺陷检测与定位方法，包括以下步骤：
步骤1：采集工业品外观图像；
步骤2：将采集到的图像输入基于共性和差异的工业产品表面缺陷检测与定位网络中，进行工业品表面缺陷检测与定位；
所述基于共性和差异的工业产品表面缺陷检测与定位网络，包括特征提取模块、缺陷检测模块、多尺度特征融合模块、缺陷定位模块、特征恢复模块；
所述特征提取模块，包括5个卷积组，每个卷积组包含1个或多个由Conv→BN→ReLU组成的卷积层；其中，第1个卷积组仅包含1个卷积层，卷积核大小为7×7，输出通道数为64，步长为2；第2-5个卷积组分别包含3、4、6、3个级联的卷积层，卷积核大小均为3×3，每个卷积组的输出通道数分别为64、128、256、512，第2个卷积组使用步长为2的最大池化，其余3个卷积组均使用步长为2的卷积操作实现下采样；
所述缺陷检测模块，用于实现缺陷区域检测；
所述多尺度特征融合模块，用于实现不同尺度的特征图融合；
所述缺陷定位模块，用于实现缺陷区域的定位；
所述特征恢复模块，包括5个卷积组，每个卷积组包含1个1×1卷积层、1个步长为2的3×3转置卷积层和1个1×1卷积层，输出通道数分别为256、128、64、64和32；同时，跳跃连接将来自所述特征恢复模块的粗粒度、深层次的语义特征与来自所述特征提取模块并通过所述缺陷差异检测模块、多尺度特征融合模块、缺陷区域定位模块处理后的细粒度、浅层次的视觉特征级联起来；最后，使用1个由Conv→Sigmoid组成的3×3卷积层输出预测图像。
本发明的系统所采用的技术方案是：一种基于共性和差异的工业品表面缺陷检测与定位系统，包括以下模块：
图像获取模块，用于采集工业品外观图像；
表面缺陷检测与定位模块，用于将采集到的图像输入基于共性和差异的工业产品表面缺陷检测与定位网络中，进行工业品表面缺陷检测与定位；
所述基于共性和差异的工业产品表面缺陷检测与定位网络，包括特征提取模块、缺陷检测模块、多尺度特征融合模块、缺陷定位模块、特征恢复模块；
所述特征提取模块，包括5个卷积组，每个卷积组包含1个或多个由Conv→BN→ReLU组成的卷积层；其中，第1个卷积组仅包含1个卷积层，卷积核大小为7×7，输出通道数为64，步长为2；第2-5个卷积组分别包含3、4、6、3个级联的卷积层，卷积核大小均为3×3，每个卷积组的输出通道数分别为64、128、256、512，第2个卷积组使用步长为2的最大池化，其余3个卷积组均使用步长为2的卷积操作实现下采样；
所述缺陷检测模块，用于实现缺陷区域检测；
所述多尺度特征融合模块，用于实现不同尺度的特征图融合；
所述缺陷定位模块，用于实现缺陷区域的定位；
所述特征恢复模块，包括5个卷积组，每个卷积组包含1个1×1卷积层、1个步长为2的3×3转置卷积层和1个1×1卷积层，输出通道数分别为256、128、64、64和32；同时，跳跃连接将来自所述特征恢复模块的粗粒度、深层次的语义特征与来自所述特征提取模块并通过所述缺陷差异检测模块、多尺度特征融合模块、缺陷区域定位模块处理后的细粒度、浅层次的视觉特征级联起来；最后，使用1个由Conv→Sigmoid组成的3×3卷积层输出预测图像。
本发明与现有方法相比，具有以下优点：
1)考虑到同一生产线产品的类内方差较小，从差异和共性的角度出发，本发明提出的基于共性和差异的工业产品表面缺陷检测与定位网络(BCD-DetNet)引入内存池来存储正常样本的特征模式，通过比较输入样本与内存池中的记忆样本，对缺陷区域进行有效预测。
2)在训练阶段，BCD-DetNet显式学习正常样本和缺陷样本之间的潜在差异，以获得鲁棒的分类超平面。在推理阶段，BCD-DetNet直接以端到端的方式确定输入图像的缺陷区域。
3)结合通道注意力、多尺度特征融合以及空间注意力等模块，能够有效地将半监督缺陷检测简化为端到端的语义分割任务，使半监督式工业产品表面缺陷检测更加灵活。
4)BCD-DetNet在表面缺陷检测和定位任务中具有较高的精度，同时能更好地满足工业场景的实时性要求。
附图说明
图1为本发明实施例的基于共性和差异的工业产品表面缺陷检测与定位网络(BCD-DetNet)结构示意图；
图2为本发明实施例的基于共性和差异的工业产品表面缺陷检测与定位网络(BCD-DetNet)中采用的缺陷检测模块、多尺度特征融合模块和缺陷定位模块结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供的一种基于共性和差异的工业品表面缺陷检测与定位方法，包括以下步骤：
步骤1：采集工业品外观图像；
本实施例中，针对采集的彩色图像，采用加权平均法对其进行灰度化处理，具体计算表达式如下：
I＝0.299×R+0.578×G+0.114×B；
其中，R、G、B分别表示红、绿、蓝分量图像，I为灰度输出图像。
步骤2：将采集到的图像输入基于共性和差异的工业产品表面缺陷检测与定位网络中，进行工业品表面缺陷检测与定位；
请见图2，本实施例的基于共性和差异的工业产品表面缺陷检测与定位网络，包括特征提取模块、缺陷检测模块、多尺度特征融合模块、缺陷定位模块、特征恢复模块；
本实施例的特征提取模块，包括5个卷积组，每个卷积组包含1个或多个由Conv→BN→ReLU组成的卷积层；其中，第1个卷积组仅包含1个卷积层，卷积核大小为7×7，输出通道数为64，步长为2；第2-5个卷积组分别包含3、4、6、3个级联的卷积层，卷积核大小均为3×3，每个卷积组的输出通道数分别为64、128、256、512，第2个卷积组(Layer1)使用步长为2的最大池化，其余3个卷积组(Layer2-4)均使用步长为2的卷积操作实现下采样；
请见图2，本实施例的缺陷检测模块，包括嵌入式记忆单元、特征匹配单元和特征级联单元；嵌入式记忆单元将一定数量的正常样本(无缺陷样本)的共性特征存储为记忆项，并在学习到的内置空间中将同一类别的实例聚集在一起；特征匹配单元通过计算输入样本和所有内置的记忆样本之间的相似度距离，从而找到一个距离最小的特征差异矢量，并将这个最佳差异信息DI*与输入特征信息在通道维度上进行特征级联操作，得到3个级联特征信息CI1、CI2和CI3。
请见图2，本实施例的多尺度特征融合模块，包括3个通道注意力单元和3个多尺度特征融合单元；通道注意力单元由1个CA-Block和1个保持通道数不变的3×3卷积层组成，这两个分支的输出通过逐像素乘法操作实现注意力增强；多尺度特征融合单元由2个卷积层、1个上采样和1个卷积层组成，卷积核大小均为3×3，卷积输出通道数与同层级的输入通道数相同，这两个分支再通过逐像素加法操作实现不同尺度的特征图融合。
请见图2，本实施例的缺陷定位模块，由3个空间注意力单元组成，使用前述的最佳差异信息DI*中不同维度的特征，并在通道维度上分别计算平均值，从而得到3个不同维度的空间注意力图，再分别与前述的多尺度特征融合模块输出的3个特征图进行逐像素乘法操作，实现缺陷区域的定位。
本实施例的特征恢复模块，即网络解码器，包括5个卷积组，每个卷积组包含1个1×1卷积层、1个步长为2的3×3转置卷积层和1个1×1卷积层，输出通道数分别为256、128、64、64和32；同时，跳跃连接将来自特征恢复模块的粗粒度、深层次的语义特征与来自特征提取模块并通过前述的缺陷差异检测模块、多尺度特征融合模块、缺陷区域定位模块处理后的细粒度、浅层次的视觉特征级联起来；最后，使用1个3×3卷积层(Conv→Sigmoid)输出预测图像。
本实施例采用的基于共性和差异的工业产品表面缺陷检测与定位网络，是训练好的网络；其训练过程具体包括以下步骤：
(1)采集若干工业品外观图像；
读取待检测产品的外观图像，输入图像的大小为256×256，彩色或灰度图像均可。如果输入的是彩色图像，则采用加权平均法对其进行灰度化处理，具体计算表达式如下：
I＝0.299×R+0.578×G+0.114×B (1)
其中，R、G、B分别表示红、绿、蓝分量图像，I为灰度输出图像。
(2)生成缺陷样本图像；
在工业场景中，有多种形式的缺陷存在，在进行数据采集时不可能涵盖所有的异常现象，这就限制了基于监督学习的方法进行建模。然而，在半监督框架中，仅使用正常样本而不与非正常样本进行比较，不足以让模型学习到什么是正常模式。本发明受DRAEM(V.Zavrtanik,M.Kristan,and D.Skocaj,“DRAEM-a discriminatively trainedreconstruction embedding for surface anomaly detection,”Proceedings of theIEEE/CVF International Conference on Computer Vision(ICCV 2021),pp.8330-8339,2021.)的启发，设计了一种更有效的策略来模拟生成缺陷样本数据，并在训练过程中引入这些样本，以完成自监督学习。通过比较非正常模式来总结正常样本的模式，以减轻半监督学习的弊端。
2.1生成二维柏林噪声图像P，然后通过阈值T对P进行二值化，得到柏林噪声掩膜图像MP；
柏林噪声有多个随机峰值，由它生成的MP可以提取图像中连续的区域块。同时，考虑到部分工业零部件的主体比例在采集图像中较小，如果不做处理直接进行数据增强，很容易在图像的背景部分产生噪声，增加了人造模拟缺陷样本与真实缺陷样本在数据分布上的差异，不利于模型学习有效的判别信息，因此我们对这类图像采用了前景增强策略，即对输入的正常样本图像I(步骤1中采集的工业品外观图像I)进行二值化处理，得到正常样本掩膜图像MI，并利用形态学开运算和闭运算去除二值化过程中产生的噪声。之后，将掩膜图像MP和MI进行逐像素乘法运算，得到最终的ROI掩膜图像M。
2.2提取随机噪声图像In中由掩膜图像M定义的ROI区域，生成噪声前景图像In′；
利用公式(2)得到正常样本图像I和ROI掩膜图像M的融合图像，使其接近真实缺陷图像，具体计算表达式如下：
I′n＝δ(M⊙In)+(1-δ)(M⊙I) (2)
其中，I′n为带噪声的前景图像，In为随机噪声图像，δ为透明度系数。本实施例在此过程中引入了透明度系数δ，以平衡原始输入图像I和随机噪声图像In的融合，使生成的缺陷图像更接近真实的缺陷图像。对于随机噪声图像In，本实施例希望它被赋予更高的透明度值，以增加模型学习的难度，从而提高模型的鲁棒性。因此，对于公式(2)中的δ，本实施例将从[0.15,1]中随机均匀地取值。
2.3将噪声前景图像I′n叠加到输入的正常样本图像I上，得到生成的缺陷样本图像IA；
将ROI掩膜图像M反转得到
Figure BDA0003826566870000061
然后对
Figure BDA0003826566870000062
和原始输入图像I执行逐像素乘法运算，并利用公式(3)得到数据增强图像IA(即生成的缺陷样本图像)，具体计算表达式如下：
Figure BDA0003826566870000063
可以看出，IA以原始输入图像I为背景，以ROI掩膜图像M提取随机噪声图像In中的感兴趣区域(ROI)为前景。
(3)利用缺陷检测模块，对步骤1中采集的图像进行缺陷检测；
识别缺陷的前提是要知道什么是正常样本，而异常区域则是通过将测试图像与我们记忆中的正常图像进行比较得到的。受人类学习过程和基于嵌入的方法的启发，本发明使用少量正常样本作为记忆样本，并使用预先训练好的编码器(如ResNet)提取记忆样本的高级特征作为记忆信息，以帮助BCD-DetNet的学习。
为了获得记忆信息，本实施例首先从训练数据中随机选取N张正常图像作为记忆样本，将其输入ResNet编码器，并分别从Layer1、Layer2、Layer3获得N×64×64×64、N×128×32×32和N×256×16×16维特征，这些具有不同分辨率的特征共同构成记忆信息MI；需要强调的是，为了保证记忆信息和输入图像的高维特征统一，本实施例冻结了ResNet中Layer1/2/3的模型参数，但模型的其余部分仍可训练。在训练或推理阶段，编码器也会提取输入图像的高级特征，并得到维度分别为64×64×64、128×32×32和256×16×16的特征，这些具有不同分辨率的特征共同构成输入图像信息II；通过公式
Figure BDA0003826566870000071
计算它们之间的L2距离，得到输入图像和记忆样本之间的差异信息；因此，在这N个差异信息中，总可以找到距离最小的DI，便得到II和MI之间的最佳差异信息
Figure BDA0003826566870000072
其中i∈[1,N]；可以看出，最佳差异信息DI*包含了输入样本与其最相似的记忆样本之间的差异，某个位置的差异值越大，该位置对应的输入图像区域出现异常的概率就越高。
随后，最佳差异信息DI*与输入图像信息II的高级特征在通道维度上完成级联(concatenation)操作，得到级联信息CI1、CI2和CI3；级联后的信息将经过多尺度特征融合模块进行特征融合，融合后的特征通过跳跃连接进入网络解码器；
(4)利用多尺度特征融合模块，对得到级联信息CI1、CI2和CI3进行特征融合；
在特征记忆模块的帮助下，本实施例得到由输入图像信息II和最佳差异信息DI*组成的级联信息CI。直接使用CI一方面存在特征冗余的问题；另一方面，它增加了模型的计算规模并导致推理速度下降。鉴于多尺度特征融合在目标检测中的成功应用，一个直观的想法就是在通道注意力机制和多尺度特征融合策略的帮助下，将视觉信息和语义信息充分融合在级联信息CI中。
级联信息CIn(n＝1,2,3)最初由一个保持通道数的3×3卷积层进行融合。考虑到CIn是通道维度上两种信息的简单级联，并且来自网络编码器的不同位置，具有不同的语义信息和视觉信息，因此本实施例使用通道注意力CA-Block和多尺度策略进行特征融合。首先使用上采样对不同维度的特征图进行分辨率对齐，然后使用卷积对通道数进行对齐，最后执行逐像素加法操作，实现多尺度特征融合；融合后的特征图由空间注意力模块Mn(n＝1,2,3)加权，并送至最终的网络解码器。
(5)利用缺陷定位模块，基于空间注意力进行缺陷区域定位；
从前述看出，最佳差异信息DI*对异常区域的定位有重要影响。为了充分利用差异信息，本实施例用DI*提取三个空间注意力图，用来加强对缺陷区域最佳差异信息的猜测。对于最佳差异信息DI*中三个不同维度的特征，在通道维度上计算平均值，分别得到大小为16×16、32×32和64×64的三个特征图；其中，16×16的特征图被直接用作空间注意力图M3；在对M3进行上采样后，与32×32的特征图进行逐像素乘法运算，得到M2；在对M2进行上采样后，与64×64的特征图进行逐像素乘法运算，得到M1；空间注意力图M1、M2和M3分别对经过步骤(4)处理得到的级联信息CI1、CI2和CI3进行加权，具体计算表达式如下：
Figure BDA0003826566870000081
其中，C3表示
Figure BDA0003826566870000082
的通道数，
Figure BDA0003826566870000083
表示
Figure BDA0003826566870000084
中通道i的特征图，
Figure BDA0003826566870000085
和
Figure BDA0003826566870000086
分别表示M3和M2经过上采样之后得到的特征图；
(6)循环执行步骤(1)-(5)，通过输出的预测图像与GT图像在设计的联合损失函数上训练，并使联合损失函数值趋于最小，获得训练好的基于共性和差异的工业产品表面缺陷检测与定位网络；
为了确保BCD-DetNet的预测值接近其真实值，本实施例联合L1损失和focal损失来保证图像空间中所有像素的相似性。L1损失约束下预测的分割图像比L2损失保留了更多的边缘信息，同时focal损失缓解了图像中正常区域与缺陷区域面积不平衡的问题，使网络模型更注重于对困难样本的分割，提高了缺陷分割的精度。L1损失和focal损失函数的计算公式分别为：
Figure BDA0003826566870000087
其中，pt为对应像素的S＝1时像素类别的预测概率，(1-pt)为对应像素的S＝0时像素类别的预测概率，αt和γ为控制加权程度的两个超参数；S和
Figure BDA0003826566870000088
分别表示GT图像和预测图像；
最后，将这些约束条件合并为一个目标函数，并得到以下联合损失函数：
L＝λl1Ll1+λfLf；
其中，λl1和λf是平衡超参数。
本发明基于U-Net架构，使用预先训练好的ResNet作为编码器。从差异和共性的角度出发，引入模拟缺陷样本和内存记忆模块，以更有导向性的方式辅助模型学习，从而以端到端的方式完成半监督的表面缺陷检测任务。同时，为了将内存记忆信息与输入图像的高级特征充分融合，本实施例的网络模型还引入了多尺度特征融合模块和新型空间注意力模块，极大地提升了缺陷定位的模型精度。在训练阶段通过人工模拟的方式生成缺陷样本，与存储在内存中的正常样本信息进行多尺度特征融合，完成语义分割任务，并在推理阶段对图像中的缺陷区域进行端到端定位。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (9)

1.一种基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于，包括以下步骤：
步骤1：采集工业品外观图像；
步骤2：将采集到的图像输入基于共性和差异的工业产品表面缺陷检测与定位网络中，进行工业品表面缺陷检测与定位；
所述基于共性和差异的工业产品表面缺陷检测与定位网络，包括特征提取模块、缺陷检测模块、多尺度特征融合模块、缺陷定位模块、特征恢复模块；
所述特征提取模块，包括5个卷积组，每个卷积组包含1个或多个由Conv→BN→ReLU组成的卷积层；其中，第1个卷积组仅包含1个卷积层，卷积核大小为7×7，输出通道数为64，步长为2；第2-5个卷积组分别包含3、4、6、3个级联的卷积层，卷积核大小均为3×3，每个卷积组的输出通道数分别为64、128、256、512，第2个卷积组使用步长为2的最大池化，其余3个卷积组均使用步长为2的卷积操作实现下采样；
所述缺陷检测模块，用于实现缺陷区域检测；
所述多尺度特征融合模块，用于实现不同尺度的特征图融合；
所述缺陷定位模块，用于实现缺陷区域的定位；
所述特征恢复模块，包括5个卷积组，每个卷积组包含1个1×1卷积层、1个步长为2的3×3转置卷积层和1个1×1卷积层，输出通道数分别为256、128、64、64和32；同时，跳跃连接将来自所述特征恢复模块的粗粒度、深层次的语义特征与来自所述特征提取模块并通过所述缺陷差异检测模块、多尺度特征融合模块、缺陷区域定位模块处理后的细粒度、浅层次的视觉特征级联起来；最后，使用1个由Conv→Sigmoid组成的3×3卷积层输出预测图像。
2.根据权利要求1所述的基于共性和差异的工业品表面缺陷检测方法，其特征在于：步骤1中，针对采集的彩色图像，采用加权平均法对其进行灰度化处理，具体计算表达式如下：
I＝0.299×R+0.578×G+0.114×B；
其中，R、G、B分别表示红、绿、蓝分量图像，I为灰度输出图像。
3.根据权利要求1所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：所述缺陷检测模块，包括嵌入式记忆单元、特征匹配单元和特征级联单元；所述嵌入式记忆单元将预定数量的正常样本的共性特征存储为记忆项，并在学习到的内置空间中将同一类别的实例聚集在一起；所述特征匹配单元通过计算输入样本和所有内置的记忆样本之间的相似度距离，从而找到一个距离最小的特征差异矢量，并将这个最佳差异信息DI*与输入特征信息在通道维度上进行特征级联操作，得到3个级联特征信息CI1、CI2和CI3。
4.根据权利要求1所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：所述多尺度特征融合模块，包括3个通道注意力单元和3个多尺度特征融合单元；所述通道注意力单元由1个CA-Block和1个保持通道数不变的3×3卷积层组成，这两个分支的输出通过逐像素乘法操作实现注意力增强；所述多尺度特征融合单元由2个卷积层、1个上采样和1个卷积层组成，卷积核大小均为3×3，卷积输出通道数与同层级的输入通道数相同，这两个分支再通过逐像素加法操作实现不同尺度的特征图融合。
5.根据权利要求1所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：所述缺陷定位模块，由3个空间注意力单元组成，使用所述最佳差异信息DI*中不同维度的特征，并在通道维度上分别计算平均值，从而得到3个不同维度的空间注意力图，再分别与所述多尺度特征融合模块输出的3个特征图进行逐像素乘法操作，实现缺陷区域的定位。
6.根据权利要求1-5任意一项所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：步骤2中所述基于共性和差异的工业产品表面缺陷检测与定位网络，是训练好的网络；
其训练过程具体包括以下步骤：
(1)采集若干工业品外观图像；
(2)生成缺陷样本图像；
生成二维柏林噪声图像P，然后通过阈值T对P进行二值化，得到柏林噪声掩膜图像MP；
针对输入的步骤1中采集的工业品外观图像I进行二值化处理，得到正常样本掩膜图像MI，并利用形态学开运算和闭运算去除二值化过程中产生的噪声；将掩膜图像MP和MI进行逐像素乘法运算，得到最终的ROI掩膜图像M；
提取随机噪声图像In中由掩膜图像M定义的ROI区域，生成噪声前景图像I′n；
将噪声前景图像I′n叠加到输入的正常样本图像I上，得到生成的缺陷样本图像IA；
(3)利用缺陷检测模块，对步骤1中采集的图像进行缺陷检测；
首先从训练数据中随机选取N张正常图像作为记忆样本，将其输入ResNet编码器，并分别从Layer1、Layer2、Layer3获得N×64×64×64、N×128×32×32和N×256×16×16维特征，这些具有不同分辨率的特征共同构成记忆信息MI；在训练或推理阶段，编码器也会提取输入图像的高级特征，并得到维度分别为64×64×64、128×32×32和256×16×16的特征，这些具有不同分辨率的特征共同构成输入图像信息II；通过公式
Figure FDA0003826566860000031
计算它们之间的L2距离，得到输入图像和记忆样本之间的差异信息；找到距离最小的DI，便得到II和MI之间的最佳差异信息
Figure FDA0003826566860000032
其中i∈[1,N]；
随后，最佳差异信息DI*与输入图像信息II的高级特征在通道维度上完成级联操作，得到级联信息CI1、CI2和CI3；
(4)利用多尺度特征融合模块，对得到级联信息CI1、CI2和CI3进行特征融合；
级联信息CIn首先使用上采样对不同维度的特征图进行分辨率对齐，然后使用卷积对通道数进行对齐，最后执行逐像素加法操作，实现多尺度特征融合；
(5)利用缺陷定位模块，基于空间注意力进行缺陷区域定位；
融合后的特征图由空间注意力模块Mn加权，并送至最终的解码器；
对于最佳差异信息DI*中三个不同维度的特征，在通道维度上计算平均值，分别得到大小为16×16、32×32和64×64的三个特征图；其中，16×16的特征图被直接用作空间注意力图M3；在对M3进行上采样后，与32×32的特征图进行逐像素乘法运算，得到M2；在对M2进行上采样后，与64×64的特征图进行逐像素乘法运算，得到M1；空间注意力图M1、M2和M3分别对经过步骤(4)处理得到的级联信息CI1、CI2和CI3进行加权，具体计算表达式如下：
Figure FDA0003826566860000033
其中，C3表示
Figure FDA0003826566860000034
的通道数，
Figure FDA0003826566860000035
表示
Figure FDA0003826566860000036
中通道i的特征图，
Figure FDA0003826566860000037
和
Figure FDA0003826566860000038
分别表示M3和M2经过上采样之后得到的特征图；
(6)循环执行步骤(1)-(5)，通过输出的预测图像与GT图像在设计的联合损失函数上训练，并使联合损失函数值趋于最小，获得训练好的基于共性和差异的工业产品表面缺陷检测与定位网络；
其中，联合L1损失和focal损失来保证图像空间中所有像素的相似性；
Figure FDA0003826566860000041
其中，pt为对应像素的S＝1时像素类别的预测概率，(1-pt)为对应像素的S＝0时像素类别的预测概率，αt和γ为控制加权程度的两个超参数；S和
Figure FDA0003826566860000042
分别表示GT图像和预测图像；
最后，将这些约束条件合并为一个目标函数，并得到以下联合损失函数：
L＝λl1Ll1+λfLf；
其中，λl1和λf是平衡超参数。
7.根据权利要求6所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：
I′n＝δ(M⊙In)+(1-δ)(M⊙I)；
其中，I′n为带噪声的前景图像，In为随机噪声图像，δ为透明度系数，⊙表示逐像素乘法运算。
8.根据权利要求6所述的基于共性和差异的工业品表面缺陷检测与定位方法，其特征在于：
Figure FDA0003826566860000043
其中，
Figure FDA0003826566860000044
表示对掩膜图像M取反操作，⊙表示逐像素乘法运算。
9.一种基于共性和差异的工业品表面缺陷检测与定位系统，其特征在于，包括以下模块：
图像获取模块，用于采集工业品外观图像；
表面缺陷检测与定位模块，用于将采集到的图像输入基于共性和差异的工业产品表面缺陷检测与定位网络中，进行工业品表面缺陷检测与定位；
所述基于共性和差异的工业产品表面缺陷检测与定位网络，包括特征提取模块、缺陷检测模块、多尺度特征融合模块、缺陷定位模块、特征恢复模块；
所述特征提取模块，包括5个卷积组，每个卷积组包含1个或多个由Conv→BN→ReLU组成的卷积层；其中，第1个卷积组仅包含1个卷积层，卷积核大小为7×7，输出通道数为64，步长为2；第2-5个卷积组分别包含3、4、6、3个级联的卷积层，卷积核大小均为3×3，每个卷积组的输出通道数分别为64、128、256、512，第2个卷积组使用步长为2的最大池化，其余3个卷积组均使用步长为2的卷积操作实现下采样；
所述缺陷检测模块，用于实现缺陷区域检测；
所述多尺度特征融合模块，用于实现不同尺度的特征图融合；
所述缺陷定位模块，用于实现缺陷区域的定位；
所述特征恢复模块，包括5个卷积组，每个卷积组包含1个1×1卷积层、1个步长为2的3×3转置卷积层和1个1×1卷积层，输出通道数分别为256、128、64、64和32；同时，跳跃连接将来自所述特征恢复模块的粗粒度、深层次的语义特征与来自所述特征提取模块并通过所述缺陷差异检测模块、多尺度特征融合模块、缺陷区域定位模块处理后的细粒度、浅层次的视觉特征级联起来；最后，使用1个由Conv→Sigmoid组成的3×3卷积层输出预测图像。
CN202211074652.0A 2022-08-31 2022-08-31 基于共性和差异的工业品表面缺陷检测与定位方法及系统 Pending CN115439442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211074652.0A CN115439442A (zh) 2022-08-31 2022-08-31 基于共性和差异的工业品表面缺陷检测与定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211074652.0A CN115439442A (zh) 2022-08-31 2022-08-31 基于共性和差异的工业品表面缺陷检测与定位方法及系统

Publications (1)

Publication Number Publication Date
CN115439442A true CN115439442A (zh) 2022-12-06

Family

ID=84248123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211074652.0A Pending CN115439442A (zh) 2022-08-31 2022-08-31 基于共性和差异的工业品表面缺陷检测与定位方法及系统

Country Status (1)

Country Link
CN (1) CN115439442A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661155A (zh) * 2022-12-28 2023-01-31 北京阿丘机器人科技有限公司 缺陷检测模型的构建方法、装置、设备及存储介质
CN115861306A (zh) * 2023-02-20 2023-03-28 武汉纺织大学 一种基于自监督拼图模块的工业品异常检测方法
CN117437227A (zh) * 2023-12-20 2024-01-23 成都数之联科技股份有限公司 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN117474464A (zh) * 2023-09-28 2024-01-30 光谷技术有限公司 多业务处理模型训练方法、多业务处理方法和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661155A (zh) * 2022-12-28 2023-01-31 北京阿丘机器人科技有限公司 缺陷检测模型的构建方法、装置、设备及存储介质
CN115861306A (zh) * 2023-02-20 2023-03-28 武汉纺织大学 一种基于自监督拼图模块的工业品异常检测方法
CN117474464A (zh) * 2023-09-28 2024-01-30 光谷技术有限公司 多业务处理模型训练方法、多业务处理方法和电子设备
CN117474464B (zh) * 2023-09-28 2024-05-07 光谷技术有限公司 多业务处理模型训练方法、多业务处理方法和电子设备
CN117437227A (zh) * 2023-12-20 2024-01-23 成都数之联科技股份有限公司 一种图像生成及缺陷检测方法、装置、介质、设备及产品
CN117437227B (zh) * 2023-12-20 2024-02-27 成都数之联科技股份有限公司 一种图像生成及缺陷检测方法、装置、介质、设备及产品

Similar Documents

Publication Publication Date Title
Zhang et al. Memory-oriented decoder for light field salient object detection
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Ahmad et al. Deep learning methods for object detection in smart manufacturing: A survey
Nandhini Abirami et al. Deep CNN and deep GAN in computational visual perception-driven image analysis
CN115439442A (zh) 基于共性和差异的工业品表面缺陷检测与定位方法及系统
Meng et al. Single-image dehazing based on two-stream convolutional neural network
Chen et al. MFFN: An underwater sensing scene image enhancement method based on multiscale feature fusion network
CN114677346B (zh) 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
Mohajerani et al. Shadow detection in single RGB images using a context preserver convolutional neural network trained by multiple adversarial examples
Zuo et al. HF-FCN: Hierarchically fused fully convolutional network for robust building extraction
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
Wang et al. Deep learning-based visual detection of marine organisms: A survey
Du et al. Srh-net: Stacked recurrent hourglass network for stereo matching
Wang et al. Change detection in synthetic aperture radar images based on convolutional block attention module
Yu et al. U-YOLOv7: a network for underwater organism detection
Jesus et al. Underwater object classification and detection: first results and open challenges
Mandal et al. Neural architecture search for image dehazing
CN114140524A (zh) 一种多尺度特征融合的闭环检测系统及方法
Zhou et al. Swin Transformer Embedding Dual-Stream for Semantic Segmentation of Remote Sensing Imagery
CN115700737A (zh) 一种基于视频监控的溢油检测方法
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法
Sangma et al. A survey on fish health monitoring approaches using computer vision techniques
Du et al. Boosting Supervised Learning Performance with Co-training
Sun et al. HFENet: Hybrid Feature Encoder Network for Detecting Salient Objects in RGB-Thermal Images
Li et al. IDP-Net: Industrial defect perception network based on cross-layer semantic information guidance and context concentration enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination