CN116228623B - 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质 - Google Patents

一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质 Download PDF

Info

Publication number
CN116228623B
CN116228623B CN202211092833.6A CN202211092833A CN116228623B CN 116228623 B CN116228623 B CN 116228623B CN 202211092833 A CN202211092833 A CN 202211092833A CN 116228623 B CN116228623 B CN 116228623B
Authority
CN
China
Prior art keywords
network
metal surface
attention
isomorphism
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211092833.6A
Other languages
English (en)
Other versions
CN116228623A (zh
Inventor
陈龙
王栋栋
陈红光
卢兴中
刘保虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Betterway Automation Technology Co ltd
Original Assignee
Shanghai Betterway Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Betterway Automation Technology Co ltd filed Critical Shanghai Betterway Automation Technology Co ltd
Priority to CN202211092833.6A priority Critical patent/CN116228623B/zh
Publication of CN116228623A publication Critical patent/CN116228623A/zh
Application granted granted Critical
Publication of CN116228623B publication Critical patent/CN116228623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像分割技术领域，且公开了一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，包括以下步骤：对图像分割网络训练时，使用SEAM算法利用孪生网络结构融合等变注意力机制进行对比学习，设计易于插入的高响应区域抑制模块提升SEAM的特征提取效果来获取目标区域生成伪掩膜。本发明通过设计了一种新的特征提取模块，融合通道注意力的高响应区域抑制模块(DRS)，通过可学习的抑制因子来削弱网络对显著特征的关注度，使得网络能够捕捉到更多的缺陷特征，然后通过替换主干网络中的残差单元的激活函数层ReLU的方式集成到SEAM网络中，通过融合通道注意力的高响应区域抑制模块提升SEAM的特征提取效果。从而得到更精确的金属表面缺陷的分割图像。

Description

一种基于等变正则化自监督注意力网络的金属表面缺陷检测 方法、设备和储存介质
技术领域
本发明属于图像分割技术领域，具体为一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质。
背景技术
传统金属表面缺陷检测方法可分为两类：图像处理方法和基于手工特征的机器学习方法。图像处理方法使用局部异常反射来检测缺陷，包括Gabor滤波器、边缘检测、Kittler方法等。图像处理方法无法利用缺陷的内部特征，导致将某些零件、边界、纹理视为缺陷。基于手工特征的机器学习方法使用例如方向梯度直方图(HOG)、局部二值模式(LBP)、灰度共生矩阵(GLCM)等算法进行特征提取，然后通过训练好的分类器来确定输入图像是否有缺陷。以上传统方法缺乏对实际金属检测环境的适应性和鲁棒性。近几年来，深度学习发展迅速，基于卷积神经网络的语义分割算法因其强大的特征表达优势和建模能力，已成为表面缺陷检测的有效手段。例如VGGNet、ResNet，FCN，MaskScoringR-CNN,high-resolutionnetwork(HRNet)都是非常优秀的图像分割算法，到目前为止，这些网络依然在图像分割领域有极高的统治力。但是深度卷积神经网络的学习过程需要像素级的人工标注，繁琐费力，效率低下。为了解决上述问题，将弱监督分割算法引入金属表面缺陷检测领域，利用简单的数据标注来进行缺陷检测。
发明内容
本发明的目的在于提供一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明提供如下技术方案：一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，包括以下步骤：
S1.对图像分割网络训练时，使用SEAM算法利用孪生网络结构融合等变注意力机制进行对比学习，设计易于插入的高响应区域抑制模块提升SEAM的特征提取效果来获取目标区域生成伪掩膜；
S2.采用上一阶段产生的伪掩膜作为监督信息训练全监督语义分割模型，实现端到端算法；
S3.再根据因果图推断消除类间模糊，将类间模糊模块生成的特征M拼接到ResNet38的较高层Block5特征层中，再进行新一轮的训练，可以利用到前一轮的训练结果去优化下一轮的特征的学习，经过多次循环，获取更优的分割结果。
优选地，通过孪生网络分别将输入映射到新空间，通过损失函数计算评价两个输入的相似度，通过减小损失使得两个图像生成的掩码信息经过变换后趋向一致。
优选地，图像分割网络采用弱监督训练获得。
优选地，所述图像分割网络采用SEAM网络，所述SEAM网络基于ResNet38+HRAS网络构建，所述ResNet38网络中添加注意力模块。
优选地，所述S3中采用因果图推断消除类间模糊，建立结构化的因果图模型，使用后门干预手段消除金属表面缺陷数据集中相似缺陷造成的混淆影响。
优选地，所述S1中设计了融合通道注意力的高响应区域抑制模块(DRS)提升SEAM的特征提取效果。
优选地，通过可学习的抑制因子来削弱网络对显著特征的关注度，然后通过替换主干网络中的残差单元的激活函数层ReLU的方式集成到SEAM网络中。
优选地，包括用于获取待分割图像的图像获取模块和用于将待分割图像输入训练好的图像分割网络中对待分割图像进行分割的图像分割模块；其中图像分割网络训练中，通过具有高响应区域抑制模块(DRS)的SEAM网络得到类激活图(CAM),从而生成伪标签，再经过类间模糊消除模块(IAE)得到最终的伪标签作为训练标签对图像分割网络进行训练。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测的步骤。
一种计算机可读储存介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测的步骤
本发明的有益效果如下：
1、本发明通过设计了一种新的特征提取模块，融合通道注意力的高响应区域抑制模块(DRS)，通过可学习的抑制因子来削弱网络对显著特征的关注度，使得网络能够捕捉到更多的缺陷特征，然后通过替换主干网络中的残差单元的激活函数层ReLU的方式集成到SEAM网络中，通过融合通道注意力的高响应区域抑制模块提升SEAM的特征提取效果。从而得到更精确的金属表面缺陷的分割图像。
2、本发明通过在图像分割网络中添加了类间模糊消除模块，因果干预模块的目的是增强算法模型学习因果效应的能力，去除掉混杂因素的干扰，帮助模型找出事物之间的真正的因果关系。使用Pearl提出的结构因果模型来对弱监督语义分割任务进行建模，提高金属表面缺陷检测的精度。
附图说明
图1为本发明实施方法的流程图；
图2为本发明融合通道注意力的DRS模块；
图3为因果模型图；
图4为本发明的类间模糊消除模块；
图5为本发明的网络结构总览图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图5所示，本发明实施例提供了一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质。
实施例1
在该实施例中，公开了一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，包括：针对使用弱标签在做数据增强时产生仿射约束变换丢失的问题，SEAM算法利用孪生网络结构融合等变注意力机制进行对比学习，从而得到丢失的约束变换。为了获取到更为完整的金属表面缺陷特征，在SEAM算法的基础上进行改进，设计易于插入的高响应区域抑制模块来增加网络提取到的特征；为了提升网络对于相似缺陷的识别能力，提出使用因果干预的方法，建立结构化的因果图模型，使用后门干预手段消除金属表面缺陷数据集中相似缺陷造成的混淆影响。
进一步的，对图像网络进行训练时，通过高响应抑制模块中可学习的抑制因子来削弱网络对显著特征的关注度，使得网络能够捕捉到更多的缺陷特征。
进一步的，图像分割网络采用弱监督训练获得。
进一步的，针对SEAM算法只能获取到缺陷局部特征的问题，在网络特征提取部分添加融合通道注意力的高响应区域抑制模块，用来挖掘缺陷特征深层信息。该模块利用全局平均池化和全局最大池化压缩图像特征，并用抑制器模块来削弱网络对显著特征的关注度，最后通过变形操作还原与输入特征图大小一致。
进一步的，通过因果干预模块增强算法模型学习因果效应的能力，去除掉混杂因素的干扰，帮助模型找出事物之间的真正的因果关系。
进一步的，干预操作修改了原数据高级语义分布特征，所以将类间模糊模块生成的特征M拼接到ResNet38的较高层Block5特征层中，再进行新一轮的训练，可以利用到前一轮的训练结果去优化下一轮的特征的学习。经过多次循环，获取更优的分割结果。
对本实施例发明的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法进行详细说明。
金属是工业生产中的重要材料，在生产过程中，金属表面不可避免地会产生缺陷。缺陷是指在生产过程中产生的物理和化学损坏，通常由撞击、摩擦、腐蚀等引起。常见的金属板表面缺陷有水斑、月牙弯缺口和丝斑等等。这些缺陷会对产品的质量和性能造成不利影响。基于深度学习的图像分割模型能准确有效的识别出金属表面的各种缺陷，但模型所需数据却依赖于人工标注，标注数据费时费力，效率低下成本过高。因此，迫切需要将对标注依赖性更低的弱监督金属表面缺陷检测算法引入工业产品生产过程中。
现阶段主流弱监督图像分割是基于类激活图(CAM)的方法，CAM利用特征图的线性加权和来识别某一类别在图像中最相关区域。基于自监督等变注意力机制(SEAM)的算法使用CAM定位出图像中与类别相关的种子区域，再通过对比学习策略缩小图像在数据增强时产生的约束丢失，实现了种子区域的扩张。然而SEAM通常只覆盖物体中最具区别性的部分，这是由于分类网络的特性所产生的激活不足问题。此外，金属表面缺陷类型复杂繁多，部分类别缺陷的表观特征较为相似，产生“类间模糊”现象。对于类间差别较小的图像，分类网络为了区分类间区别不得不放弃某些缺陷特征区域的学习，导致CAM区域的缩小。
为了解决SEAM算法只能获取到缺陷局部特征的问题，本文设计了抑制高响应区域的特征提取模块，该模块利用全局平均池化和全局最大池化压缩图像特征，并用抑制器模块来削弱网络对显著特征的关注度，最后通过变形操作还原与输入特征图大小一致。针对数据集中存在的类间模糊现象，建立弱监督分割任务的因果图模型，借助后门调整公式消除因果图中的混淆因子。为了适应因果关系的变化，设计了一个用于重塑特征的可学习模块，并将学习到的特征拼接到模型中消除掉类间模糊的影响。
本实施例发明的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，包括:
针对使用弱标签在做数据增强时产生仿射约束变换丢失的问题，SEAM算法利用孪生网络结构融合等变注意力机制进行对比学习，从而得到丢失的约束变换。为了获取到更为完整的金属表面缺陷特征，在SEAM算法的基础上进行改进，设计易于插入的高响应区域抑制模块来增加网络提取到的特征；为了提升网络对于相似缺陷的识别能力，提出使用因果干预的方法，建立结构化的因果图模型，使用后门干预手段消除金属表面缺陷数据集中相似缺陷造成的混淆影响。
本实施例中融合通道注意力的DRS模块结构如图2所示。其中模块输入X为中间层的特征图。DRS模块输入X为中间层的特征图。首先X经过ReLU激活函数抑制负值筛掉无用信息，使用全局最大池化(Global Max Pooling,GMP)和全局平均池化来处理特征图X，输出分别记为Xmax和Xavg。将Xavg输入到全连接层中，经过全连接层并通过变形操作输出尺寸为C×HW的矩阵，再经过Sigmod激活函数实现数据的非线性表达，其结果记为抑制因子G，其中C为通道数，H、W分别为图像的高和宽。将Xmax变形为尺寸大小为C×HW的特征图A，再将A与G进行哈达玛积计算得到原特征图X每个通道的上界，记为T＝A⊙G。X中高于这个上界以上的数值区域被认为是要被抑制的区域。再将上界T扩展到X的相同形状作为抑制器部分的输入。
进一步的，考虑将高响应区域抑制模块类比通道注意力结构，抑制因子可以视等同为通道注意力的权重，代表着每一个通道的重要程度，将特征图与抑制因子相乘，在通道维度上会强化特征学习的能力。将融合通道注意力的特征图B作为抑制器的输入，抑制器使用torch.min()函数对B和T进行逐元素取小操作来弱化显著特征。例如，第k个抑制因子为0.7，则会限制Xk中元素不超过最大值的70％将DRS模块的输出作为下一层的输入。
本实施例中类间模糊消除模块有因果图建模，因果干预模块的目的是增强算法模型学习因果效应的能力，去除掉混杂因素的干扰，帮助模型找出事物之间的真正的因果关系。本文使用Pearl提出的结构因果模型来对弱监督语义分割任务进行建模。
弱监督语义分割的实现是基于分类网络，分类网络学习的特征可以分为共性特征和区分性特征。共性特征指某一类别所共有的特征，区分性特征表示的是网络用于区分不同类别而学到的特征。类间模糊产因于数据集中存在两种或多种相似的缺陷种类，不利于区分性特征的学习。为了分析图像X和类别标签Y间的真实因果关系，分别用随机变量D、M来表示缺陷先验信息和网络所学特征,建立模型如图3所示。
下面描述各个变量之间路径的含义：
D→X.缺陷先验信息D决定了在图像中缺陷的呈现方式，属于图像的先验信息。D对于网络学习图像中的缺陷具有指导作用。
D←M→X.M表示网络所学习缺陷特征。D给M提供了部分信息，包括轮廓、位置等信息。X→M则表示原图像提供更丰富的细节信息，例如结构、颜色等等。
X→Y←M.D不能直接影响图像的标签Y。X→Y表示传统的分类网络模型。M→Y表示缺陷特征影响着最后类别标签的生成。
在下图3中，D会通过后门路径X-D-M-Y混淆X和Y，即使X中的一些像素与Y无关，X和Y仍然可通过后门路径相关联，从而导致生成的伪掩膜不准确。接下来，我们使用了一种因果干预的方式来消除混杂效应。
在因果模型中通过后门调整进行原因干预，干预的操作将删除所有指向该变量的边。利用干预可以切断下图中的链接D→X，如图3(b)所示。在符号的表达上，使用do算子来表示这种干预行为。P(Y＝y|do(X＝x))表示对X进行干预do操作后模型分类的结果，其具体含义是将每一个样本X的值全部固定为x后Y＝y的概率。干预改变了原始数据的分布，消除了混杂因子D的影响，因此可以表示X到Y的真实因果关系，从而产生更好的CAM种子区域。利用后门调整公式对X进行干预：
其中，f表示M、X和d的函数关系。P(d)表示缺陷先验信息影响模型对特征学习的概率，概率大小可以视作影响程度。但是缺陷先验信息D难以用数据表示，也就难以对其进行概率的分层计算。参考文献对于上下文先验信息的近似，本文使用每一类别Mask的平均值来近似混杂因素集D＝{d1，d2，...，dn}，其中n是数据集中的类大小。M可定义为D集合上的一个线性表示，通过两个步骤来实现消除类间模糊,如图2所示。
Step1:生成伪标签集合。首先使用Resnet38+DRS作为SEAM的主干网络，输入图像经过主干网络计算后会生成4096的高维特征图，利用1*1大小的卷积核调整特征图的维度与目标类别数量一致，通过全局平均池化(GAP)获取特征向量，再和输出层进行全连接。W1到Wn为GAP到输出层连接到目标类别的权重，见图1中CAM部分。由于GAP特征向量是直接来自于特征图，该权重可视为特征图对目标类别的贡献程度，对相应类别的权重与特征图进行加权求和可以获取CAM，从而生成伪标签Xm。
Step2:重塑特征M。由上文定义可知混杂因素集D中所含d都是对应类中伪标签集合Xm的平均掩膜。公式1需要计算n个类别的网络前向传播过程，计算量太过复杂。为了简化计算，利用公式2将外部求和移动到网络内部特征级别，这样只需要进行一次前馈计算:
∑dP(Y|X,M)P(d)≈P(Y|X,M＝∑df(X,d)P(d)) (2)
若两个缺陷类别存在类间模糊影响，这两个缺陷在学习特征时会受到对方的影响较大，那么p(d)值就会偏大。为了均衡每一个类别对于特征学习的影响，消除类间模糊的影响，将p(d)取值为1/n。
利用可学习的参数拟合特征M：
其中αi为图像X所含缺陷特征和缺陷先验信息D之间的相似度。用分割后的伪标签Xm来表示缺陷特征，参数矩阵W1、W2将Xm和di投影到一个联合空间中。式中根号n是一个常数缩放因子，用于特征的归一化。
由于干预操作修改了原数据高级语义分布特征，所以将类间模糊模块生成的特征M拼接到ResNet38的较高层Block5特征层中，再进行新一轮的训练，可以利用到前一轮的训练结果去优化下一轮的特征的学习。经过多次循环，获取更优的分割结果。
实施例2
在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1公开的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法所述的步骤。
实施例3
在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1公开的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法所述的步骤。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：包括以下步骤：
S1.对图像分割网络训练时，使用SEAM算法利用孪生网络结构融合等变注意力机制进行对比学习，设计易于插入的高响应区域抑制模块提升SEAM的特征提取效果来获取目标区域生成伪掩膜；
其中模块输入X为中间层的特征图，DRS模块输入X为中间层的特征图，首先X经过ReLU激活函数抑制负值筛掉无用信息，使用全局最大池化和全局平均池化来处理特征图X，输出分别记为Xmax和Xavg，将Xavg输入到全连接层中，经过全连接层并通过变形操作输出尺寸为C×HW的矩阵，再经过Sigmod激活函数实现数据的非线性表达，其结果记为抑制因子G，其中C为通道数，H、W分别为图像的高和宽，将Xmax变形为尺寸大小为C×HW的特征图A，再将A与G进行哈达玛积计算得到原特征图X每个通道的上界，记为T＝A⊙G，X中高于这个上界以上的数值区域被认为是要被抑制的区域，再将上界T扩展到X的相同形状作为抑制器部分的输入；
S2.采用上一阶段产生的伪掩膜作为监督信息训练全监督语义分割模型，实现端到端算法；
S3.再根据因果图推断消除类间模糊，将类间模糊模块生成的特征M拼接到ResNet38的较高层Block5特征层中，再进行新一轮的训练，可以利用到前一轮的训练结果去优化下一轮的特征的学习，经过多次循环，获取更优的分割结果。
2.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：通过孪生网络分别将输入映射到新空间，通过损失函数计算评价两个输入的相似度，通过减小损失使得两个图像生成的掩码信息经过变换后趋向一致。
3.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：图像分割网络采用弱监督训练获得。
4.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：所述图像分割网络采用SEAM网络，所述SEAM网络基于ResNet38+HRAS网络构建，所述ResNet38网络中添加注意力模块。
5.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：所述S3中采用因果图推断消除类间模糊，建立结构化的因果图模型，使用后门干预手段消除金属表面缺陷数据集中相似缺陷造成的混淆影响。
6.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：所述S1中设计了融合通道注意力的高响应区域抑制模块(DRS)提升SEAM的特征提取效果。
7.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：通过可学习的抑制因子来削弱网络对显著特征的关注度，然后通过替换主干网络中的残差单元的激活函数层ReLU的方式集成到SEAM网络中。
8.根据权利要求1所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法，其特征在于：包括用于获取待分割图像的图像获取模块和用于将待分割图像输入训练好的图像分割网络中对待分割图像进行分割的图像分割模块；其中图像分割网络训练中，通过具有高响应区域抑制模块(DRS)的SEAM网络得到类激活图(CAM),从而生成伪标签，再经过类间模糊消除模块(IAE)得到最终的伪标签作为训练标签对图像分割网络进行训练。
9.一种电子设备，其特征在于：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测的步骤。
10.一种计算机可读储存介质，其特征在于：用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的一种基于等变正则化自监督注意力网络的金属表面缺陷检测的步骤。
CN202211092833.6A 2022-09-08 2022-09-08 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质 Active CN116228623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211092833.6A CN116228623B (zh) 2022-09-08 2022-09-08 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211092833.6A CN116228623B (zh) 2022-09-08 2022-09-08 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质

Publications (2)

Publication Number Publication Date
CN116228623A CN116228623A (zh) 2023-06-06
CN116228623B true CN116228623B (zh) 2024-05-03

Family

ID=86575589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211092833.6A Active CN116228623B (zh) 2022-09-08 2022-09-08 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质

Country Status (1)

Country Link
CN (1) CN116228623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117635538A (zh) * 2023-10-24 2024-03-01 上海贝特威自动化科技有限公司 一种基于分割模型中心距离loss的检测锂电池极耳的检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110804A1 (en) * 2015-01-06 2016-07-14 David Burton Mobile wearable monitoring systems
CN112164011A (zh) * 2020-10-12 2021-01-01 桂林电子科技大学 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN112217674A (zh) * 2020-10-12 2021-01-12 西安交通大学 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN112801900A (zh) * 2021-01-21 2021-05-14 北京航空航天大学 一种基于双向循环卷积生成对抗网络的视频模糊去除方法
CN114299304A (zh) * 2021-12-15 2022-04-08 腾讯科技（深圳）有限公司 一种图像处理方法及相关设备
CN114373094A (zh) * 2021-12-08 2022-04-19 南京信息工程大学 一种基于弱监督学习的门控特征注意力等变分割方法
CN114495170A (zh) * 2022-01-27 2022-05-13 重庆大学 一种基于局部抑制自注意力的行人重识别方法及系统
CN114820655A (zh) * 2022-04-26 2022-07-29 中国地质大学（武汉） 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN114863213A (zh) * 2022-05-11 2022-08-05 杭州电子科技大学 一种基于因果解耦生成模型的域泛化图像识别方法
CN114972869A (zh) * 2022-05-30 2022-08-30 西北工业大学 一种基于反事实因果学习的红外微弱目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016110804A1 (en) * 2015-01-06 2016-07-14 David Burton Mobile wearable monitoring systems
CN112164011A (zh) * 2020-10-12 2021-01-01 桂林电子科技大学 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN112217674A (zh) * 2020-10-12 2021-01-12 西安交通大学 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN112801900A (zh) * 2021-01-21 2021-05-14 北京航空航天大学 一种基于双向循环卷积生成对抗网络的视频模糊去除方法
CN114373094A (zh) * 2021-12-08 2022-04-19 南京信息工程大学 一种基于弱监督学习的门控特征注意力等变分割方法
CN114299304A (zh) * 2021-12-15 2022-04-08 腾讯科技（深圳）有限公司 一种图像处理方法及相关设备
CN114495170A (zh) * 2022-01-27 2022-05-13 重庆大学 一种基于局部抑制自注意力的行人重识别方法及系统
CN114820655A (zh) * 2022-04-26 2022-07-29 中国地质大学（武汉） 可靠区域作为注意力机制监督的弱监督建筑物分割方法
CN114863213A (zh) * 2022-05-11 2022-08-05 杭州电子科技大学 一种基于因果解耦生成模型的域泛化图像识别方法
CN114972869A (zh) * 2022-05-30 2022-08-30 西北工业大学 一种基于反事实因果学习的红外微弱目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度卷积神经网络图像语义分割研究进展;青晨等;《中国图象图形学报》(第06期) *

Also Published As

Publication number Publication date
CN116228623A (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
Wang et al. A unified convolutional neural network integrated with conditional random field for pipe defect segmentation
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
Stivaktakis et al. Deep learning for multilabel land cover scene categorization using data augmentation
CN110852316B (zh) 一种采用密集结构卷积网络的图像篡改检测和定位方法
El Amin et al. Zoom out CNNs features for optical remote sensing change detection
Paris et al. A topological approach to hierarchical segmentation using mean shift
CN111028217A (zh) 一种基于全卷积神经网络的图像裂缝分割方法
CN111696118B (zh) 动态场景下基于语义分割与图像修复的视觉回环检测方法
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
CN113673338B (zh) 自然场景文本图像字符像素弱监督自动标注方法、系统及介质
CN113272827A (zh) 卷积神经网络中分类决策的验证
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN112465700B (zh) 一种基于深度聚类的图像拼接定位装置及方法
Rangkuti et al. A novel reliable approach for image batik classification that invariant with scale and rotation using MU2ECS-LBP algorithm
CN116228623B (zh) 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
Pham et al. Biseg: Simultaneous instance segmentation and semantic segmentation with fully convolutional networks
Meena et al. Image splicing forgery detection using noise level estimation
Wang et al. Semantic segmentation of sewer pipe defects using deep dilated convolutional neural network
CN117058554A (zh) 电力设备目标检测方法、模型训练方法和装置
CN116824330A (zh) 一种基于深度学习的小样本跨域目标检测方法
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN116385466A (zh) 一种基于边界框弱标注的图像中目标分割方法及系统
Irshad et al. IMGCAT: An approach to dismantle the anonymity of a source camera using correlative features and an integrated 1D convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant