CN115564775B - 基于轻量级注意力机制的缺陷检测方法、装置及存储介质 - Google Patents

基于轻量级注意力机制的缺陷检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115564775B
CN115564775B CN202211545300.9A CN202211545300A CN115564775B CN 115564775 B CN115564775 B CN 115564775B CN 202211545300 A CN202211545300 A CN 202211545300A CN 115564775 B CN115564775 B CN 115564775B
Authority
CN
China
Prior art keywords
feature
matrix
attention
linear projection
lightweight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211545300.9A
Other languages
English (en)
Other versions
CN115564775A (zh
Inventor
李朋超
周展
何志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jushi Intelligent Technology Co ltd
Original Assignee
Beijing Jushi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jushi Intelligent Technology Co ltd filed Critical Beijing Jushi Intelligent Technology Co ltd
Priority to CN202211545300.9A priority Critical patent/CN115564775B/zh
Publication of CN115564775A publication Critical patent/CN115564775A/zh
Application granted granted Critical
Publication of CN115564775B publication Critical patent/CN115564775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及基于轻量级注意力机制的缺陷检测方法、装置及存储介质，应用于工件表面缺陷检测技术领域，包括：通过特征提取网络获取与原特征图不同比例的三个特征图，通过1×1卷积使得三个特征图的通道数相同，然后引入轻量级的互关注模块，通过线性投影矩阵获取到输入特征融合的空间注意力特征以及通道注意力特征，通过空间注意力特征以及通道注意力特征的融合实现从像素到区域的互关注，从而实现对关注点周围信息的关注，结合周围信息认知缺陷目标的相关特征，提高检测结果的精准度，且轻量级的互关注模块相比于现有技术中的卷积神经网络来说，在计算量上明显的减少，且参数不多，不会使模型的体积明显增加。

Description

基于轻量级注意力机制的缺陷检测方法、装置及存储介质
技术领域
本发明涉及工件表面缺陷检测技术领域，具体涉及基于轻量级注意力机制的缺陷检测方法、装置及存储介质。
背景技术
在深度学习的应用当中，为了可以准确的检测多种不同尺度的工件表面缺陷检测，通常采取使用不同尺寸的特征图进行融合的方法，主要包含如FPN网络的“单塔”融合网络，如PAN网络的“双塔”融合网络等。这些网络将不同尺寸的特征图统一尺寸和通道数，直接求和或拼接，再经过卷积等操作处理实现融合，实现整个算法准确性的提升；
现有的多尺度特征融合算法大多基于卷积神经网络，虽然能通过深层语义信息对浅层特征进行指导与浅层细节优化深层语义，但卷积操作使得网络本身只对局部信息更加敏感，而忽略关注点周围信息，并没有实现结合周围信息认知缺陷目标的相关特征；此外，使用大卷积核或引入复杂注意力机制分别会导致计算量消耗巨大和模型体积的急剧增加。
发明内容
有鉴于此，本发明的目的在于提供基于轻量级注意力机制的缺陷检测方法、装置及存储介质，以解决现有技术中，只对局部信息较为敏感，而忽略关注点周围信息，且模型体积与计算量大的问题。
根据本发明实施例的第一方面，提供基于轻量级注意力机制的缺陷检测方法，包括：
将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；
将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；
将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测。
优选地，
第一轻量级互注意模块对特征M1以及特征M2进行处理得到空间注意力特征包括：
将特征M2展平为矩阵X2，将特征M1先进行池化操作后再展平为矩阵X1 ’；
将矩阵X2与线性投影矩阵相乘得到矩阵，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，将矩阵与矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到空间注意力特征。
优选地，
第一轻量级互注意模块对特征M1以及特征M2的处理得到通道注意力特征包括：
将特征M2先进行池化操作后再展平为矩阵X2 ’，将特征M1先进行池化操作后再展平为矩阵X1 ’；
将矩阵X2 ’与线性投影矩阵相乘得到矩阵，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，将矩阵与矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到通道注意力特征。
优选地，
所述将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2包括：
将空间注意力特征与通道注意力特征分别与矩阵X2逐元素相乘；
将与矩阵X2逐元素相乘后的空间注意力特征与通道注意力特征逐元素相加，再与矩阵X2逐元素相加得到特征矩阵，将特征矩阵的尺寸调整为与特征M2相同的高分辨率尺寸，得到特征N2；
所述将特征N2以及特征M3输入到第一轻量级互注意模块中，获取到特征矩阵后，将特征矩阵的尺寸调整为与特征M3相同的高分辨率尺寸，得到特征N3。
优选地，
第二轻量级互注意模块对特征N3以及特征N2进行处理得到空间注意力特征包括：
将特征N3展平为矩阵X3，将特征N2先进行池化操作后再展平为矩阵X4 ’；
将矩阵X3与线性投影矩阵相乘得到第二矩阵，将矩阵X4 ’与线性投影矩阵相乘得到第二矩阵，将第二矩阵与第二矩阵相乘，再与线性投影矩阵相乘，对乘积先进行下采样操作再进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二空间注意力特征。
优选地，
将特征N2展平为矩阵X4，将特征N2先进行池化操作后再展平为矩阵X4 ’，将特征N3先进行池化操作后再展平为矩阵X3 ’；
将矩阵X3 ’与线性投影矩阵相乘得到第二矩阵，将矩阵X4 ’与线性投影矩阵相乘得到第二矩阵，将第二矩阵与第二矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二通道注意力特征。
优选地，还包括：
将第二空间注意力特征与第二通道注意力特征分别与矩阵X3逐元素相乘；
将与矩阵X3逐元素相乘后的第二空间注意力特征与第二通道注意力特征逐元素相加，再与矩阵X3逐元素相加得到第二特征矩阵，将第二特征矩阵的尺寸调整为与特征N2相同的低分辨率尺寸，得到特征F2；
所述将特征F2以及特征M1输入到第二轻量级互注意模块中，获取到第二特征矩阵后，将第二特征矩阵的尺寸调整为与特征M1相同的低分辨率尺寸，得到特征F1。
根据本发明实施例的第二方面，提供基于轻量级注意力机制的缺陷检测装置，包括：
特征提取模块：用于将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
卷积模块：用于将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
第一轻量级互注意模块：用于将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
第二轻量级互注意模块：用于将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
检测模块：用于通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测。
根据本发明实施例的第三方面，提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现所述的上述方法中的各个步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本申请通过特征提取网络获取与原特征图不同比例的三个特征图，通过1×1卷积使得三个特征图的通道数相同，然后引入轻量级的互关注模块，通过线性投影矩阵获取到输入特征融合的空间注意力特征以及通道注意力特征，通过空间注意力特征以及通道注意力特征的融合实现从像素到区域的互关注，从而实现对关注点周围信息的关注，结合周围信息认知缺陷目标的相关特征，提高检测结果的精准度，且轻量级的互关注模块相比于现有技术中的卷积神经网络来说，在计算量上明显的减少，且参数不多，不会使模型的体积明显增加。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的基于轻量级注意力机制的缺陷检测方法的流程示意图；
图2是根据另一示例性实施例示出的整体方案的原理示意图；
图3是根据另一示例性实施例示出的第一轻量级互注意模块的原理示意图；
图4是根据另一示例性实施例示出的第二轻量级互注意模块的原理示意图；
图5是根据另一示例性实施例示出的基于轻量级注意力机制的缺陷检测装置的系统示意图；
附图中：1-特征提取模块，2-卷积模块，3-第一轻量级互注意模块，4-第二轻量级互注意模块，5-检测模块。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
实施例一
图1是根据一示例性实施例示出的基于轻量级注意力机制的缺陷检测方法的流程示意图，如图1所示，该方法包括：
S1，将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
S2，将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
S3，将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
S4，将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
S5，通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测；
可以理解的是，如附图2所示，主干特征提取网络通常按1/2的比例逐步缩小特征图的尺寸，按2倍增加特征图通道数，取最后三个阶段输出的三个尺寸的特征图，分别对应原图尺寸的{ 1/32，1/16，1/8}，记为特征M1、特征M2以及特征M3，将特征M1、特征M2以及特征M3分别输入1×1的卷积，使得三个特征图的通道数相等，将特征M1以及特征M2输入到自顶向下的第一轻量级互注意模块LCAM-TD中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；然后将特征N2以及特征M3输入到第一轻量级互注意模块中，第一轻量级互注意模块重复上述的过程，得到特征N3，将特征M1作为特征N1，然后再将特征N3与特征N2输入到自下而上的第二轻量级互注意模块LCAM-BU中，生成由浅层到深层语义融合的特征F2，将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1，将特征N3作为特征F3，通过特征F1、特征F2以及特征F3作为工件表面的缺陷检测的特征图；本申请引入轻量级的互关注模块，通过线性投影矩阵获取到输入特征融合的空间注意力特征以及通道注意力特征，通过空间注意力特征以及通道注意力特征的融合实现从像素到区域的互关注，从而实现对关注点周围信息的关注，结合周围信息认知缺陷目标的相关特征，提高检测结果的精准度，且轻量级的互关注模块相比于现有技术中的卷积神经网络来说，在计算量上明显的减少，且参数不多，不会使模型的体积明显增加。
优选地，
第一轻量级互注意模块对特征M1以及特征M2进行处理得到空间注意力特征包括：
将特征M2展平为矩阵X2，将特征M1先进行池化操作后再展平为矩阵X1 ’；
将矩阵X2与线性投影矩阵相乘得到矩阵，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，将矩阵与矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到空间注意力特征；
可以理解的是，如附图3所示，轻量级互注意模块包括空间注意力部分以及通道注意力部分，将特征M1以及特征M2输入到第一轻量级互注意模块中后，在空间注意力部分，将尺寸为的高分辨率特征也就是特征M2展平成尺寸为的矩阵X2，将尺寸为的低分辨率特征，也就是特征M1进行池化再展平成尺寸为的矩阵X1 ’，C、H以及W分别为输入特征图的通道数、高度和宽度，池化后的尺寸，在空间注意力阶段中，以及是尺寸为的线性投影矩阵，将矩阵X2与线性投影矩阵相乘得到矩阵，矩阵的尺寸为，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，矩阵的尺寸为，通过与的矩阵乘法便可得到从像素到区域的互关注，再与线性投影矩阵相乘，是尺寸为的线性投影矩阵，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到空间注意力特征，则最终空间注意力特征，尺寸为，式中，T表示控制压缩比的非负因数，通常取2。
优选地，
第一轻量级互注意模块对特征M1以及特征M2的处理得到通道注意力特征包括：
将特征M2先进行池化操作后再展平为矩阵X2 ’，将特征M1先进行池化操作后再展平为矩阵X1 ’；
将矩阵X2 ’与线性投影矩阵相乘得到矩阵，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，将矩阵与矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到通道注意力特征；
可以理解的是，在通道注意力部分，将特征M2先进行池化操作后再展平为矩阵X2 ’，将特征M1先进行池化操作后再展平为矩阵X1 ’，将矩阵X2 ’与线性投影矩阵相乘得到矩阵，将矩阵X1 ’与线性投影矩阵相乘得到矩阵，与是尺寸为的线性投影矩阵，将矩阵与矩阵相乘，矩阵与矩阵的乘法代表着通道间的相关性，再与线性投影矩阵相乘，矩阵的尺寸为，矩阵的尺寸为，通道注意力特征的尺寸为。
优选地，
所述将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2包括：
将空间注意力特征与通道注意力特征分别与矩阵X2逐元素相乘；
将与矩阵X2逐元素相乘后的空间注意力特征与通道注意力特征逐元素相加，再与矩阵X2逐元素相加得到特征矩阵，将特征矩阵的尺寸调整为与特征M2相同的高分辨率尺寸，得到特征N2；
所述将特征N2以及特征M3输入到第一轻量级互注意模块中，获取到特征矩阵后，将特征矩阵的尺寸调整为与特征M3相同的高分辨率尺寸，得到特征N3；
可以理解的是，将得到的空间注意力特征和通道注意力特征分别和输入的特征M2的展开矩阵X2逐元素相乘，此处的逐元素相乘，是指矩阵中每一个对应元素单独相乘，得到新的矩阵，后面的逐元素相加同理，是指两个矩阵中对应的元素单独相加，再得到新的矩阵，将与矩阵X2逐元素相乘后的空间注意力特征与通道注意力特征逐元素相加，再与矩阵X2逐元素相加得到特征矩阵，特征矩阵的尺寸为，经过尺寸调整便可调整为与高分辨输入尺寸一致的融合高分辨率特征N3，需要强调的是，在第一轻量级互注意模块中，在进行逐元素相乘以及逐元素相加以及尺寸调整时，都选择的是高分辨率特征，如上述选择的就是尺寸更大的特征M2，如果是特征N2以及特征M3一同输入到第一轻量级互注意模块中，则选择特征M3，而在后续的第二轻量级互注意模块中，在进行逐元素相乘以及逐元素相加以及尺寸调整时，则选择低分辨率特征，与第一轻量级互注意模块刚好相反。
优选地，
第二轻量级互注意模块对特征N3以及特征N2进行处理得到空间注意力特征包括：
将特征N3展平为矩阵X3，将特征N2先进行池化操作后再展平为矩阵X4 ’；
将矩阵X3与线性投影矩阵相乘得到第二矩阵，将矩阵X4 ’与线性投影矩阵相乘得到第二矩阵，将第二矩阵与第二矩阵相乘，再与线性投影矩阵相乘，对乘积先进行下采样操作再进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二空间注意力特征；
可以理解的是，如地图4所示，第二轻量级互注意模块与第一轻量级互注意模块的计算过程基本相同，除了上述的逐元素相乘以及逐元素相加以及尺寸调整时，选择的输入的特征不同外，为了迎合低分辨尺寸，空间注意力阶段增加了一个下采样，也就是上述的对乘积先进行下采样操作再进行层归一化操作，此外，由于需要选择低分辨率特征，所以还在通道注意力部分增加了将低分辨特征展平的处理，方便后续进行逐元素相乘以及逐元素相加。
优选地，
将特征N2展平为矩阵X4，将特征N2先进行池化操作后再展平为矩阵X4 ’，将特征N3先进行池化操作后再展平为矩阵X3 ’；
将矩阵X3 ’与线性投影矩阵相乘得到第二矩阵，将矩阵X4 ’与线性投影矩阵相乘得到第二矩阵，将第二矩阵与第二矩阵相乘，再与线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二通道注意力特征。
优选地，还包括：
将第二空间注意力特征与第二通道注意力特征分别与矩阵X3逐元素相乘；
将与矩阵X3逐元素相乘后的第二空间注意力特征与第二通道注意力特征逐元素相加，再与矩阵X3逐元素相加得到第二特征矩阵，将第二特征矩阵的尺寸调整为与特征N2相同的低分辨率尺寸，得到特征F2；
所述将特征F2以及特征M1输入到第二轻量级互注意模块中，获取到第二特征矩阵后，将第二特征矩阵的尺寸调整为与特征M1相同的低分辨率尺寸，得到特征F1。
实施例二
图5是根据另一示例性实施例示出的基于轻量级注意力机制的缺陷检测装置的系统示意图，包括：
特征提取模块1：用于将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
卷积模块2：用于将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
第一轻量级互注意模块3：用于将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
第二轻量级互注意模块4：用于将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
检测模块5：用于通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测；
可以理解的是，本申请通过特征提取模块1将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1，通过卷积模块2将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；通过第一轻量级互注意模块3将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的空间注意力特征以及通道注意力特征，将空间注意力特征以及通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的空间注意力特征以及通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；通过第二轻量级互注意模块4将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；检测模块5通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测；本申请引入轻量级的互关注模块，通过线性投影矩阵获取到输入特征融合的空间注意力特征以及通道注意力特征，通过空间注意力特征以及通道注意力特征的融合实现从像素到区域的互关注，从而实现对关注点周围信息的关注，结合周围信息认知缺陷目标的相关特征，提高检测结果的精准度，且轻量级的互关注模块相比于现有技术中的卷积神经网络来说，在计算量上明显的减少，且参数不多，不会使模型的体积明显增加。
实施例三：
本实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现上述方法中的各个步骤；
可以理解的是，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.基于轻量级注意力机制的缺陷检测方法，其特征在于，包括：
将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的第一空间注意力特征以及第一通道注意力特征，将第一空间注意力特征以及第一通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的第一空间注意力特征以及第一通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；
将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；
将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测；
所述第一轻量级互注意模块对特征M1以及特征M2进行处理得到第一空间注意力特征包括：
将特征M2展平为矩阵X2，将特征M1先进行池化操作后再展平为矩阵；
将矩阵X2与第一线性投影矩阵相乘得到第一矩阵，将矩阵与第二线性投影矩阵相乘得到第二矩阵，将第一矩阵与第二矩阵相乘，再与第三线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第一空间注意力特征；
所述第一轻量级互注意模块对特征M1以及特征M2的处理得到第一通道注意力特征包括：
将特征M2先进行池化操作后再展平为矩阵，将特征M1先进行池化操作后再展平为矩阵；
将矩阵与第四线性投影矩阵相乘得到第三矩阵，将矩阵与第五线性投影矩阵相乘得到第四矩阵，将第三矩阵与第四矩阵相乘，再与第六线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第一通道注意力特征。
2.根据权利要求1所述的方法，其特征在于，
所述将第一空间注意力特征以及第一通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的第一空间注意力特征以及第一通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2包括：
将第一空间注意力特征与第一通道注意力特征分别与矩阵X2逐元素相乘；
将与矩阵X2逐元素相乘后的第一空间注意力特征与第一通道注意力特征逐元素相加，再与矩阵X2逐元素相加得到特征矩阵，将特征矩阵的尺寸调整为与特征M2相同的高分辨率尺寸，得到特征N2；
所述将特征N2以及特征M3输入到第一轻量级互注意模块中，获取到特征矩阵后，将特征矩阵的尺寸调整为与特征M3相同的高分辨率尺寸，得到特征N3。
3.根据权利要求1所述的方法，其特征在于，
第二轻量级互注意模块对特征N3以及特征N2进行处理得到第二空间注意力特征包括：
将特征N3展平为矩阵X3，将特征N2先进行池化操作后再展平为矩阵；
将矩阵X3与第一线性投影矩阵相乘得到第五矩阵Ksp’，将矩阵与第二线性投影矩阵相乘得到第六矩阵Qsp’，将第五矩阵Ksp’与第六矩阵Qsp’相乘，再与第三线性投影矩阵相乘，对乘积先进行下采样操作再进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二空间注意力特征Ssp’。
4.根据权利要求3所述的方法，其特征在于，
将特征N2展平为矩阵X4，将特征N2先进行池化操作后再展平为矩阵，将特征N3先进行池化操作后再展平为矩阵；
将矩阵与第四线性投影矩阵相乘得到第七矩阵Kch’，将矩阵与第五线性投影矩阵相乘得到第八矩阵Qch’，将第七矩阵Kch’与第八矩阵Qch’相乘，再与第六线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第二通道注意力特征Sch’。
5.根据权利要求4所述的方法，其特征在于，还包括：
将第二空间注意力特征Ssp’与第二通道注意力特征Sch’分别与矩阵X3逐元素相乘；
将与矩阵X3逐元素相乘后的第二空间注意力特征Ssp’与第二通道注意力特征Sch’逐元素相加，再与矩阵X3逐元素相加得到第二特征矩阵，将第二特征矩阵的尺寸调整为与特征N2相同的低分辨率尺寸，得到特征F2；
所述将特征F2以及特征M1输入到第二轻量级互注意模块中，获取到第二特征矩阵后，将第二特征矩阵的尺寸调整为与特征M1相同的低分辨率尺寸，得到特征F1。
6.基于轻量级注意力机制的缺陷检测装置，其特征在于，所述装置包括：
特征提取模块：用于将工件表面的待检测图像输入到特征提取网络中，获取与待检测图像的尺寸呈一定比例的三个特征图，记为特征M1、特征M2以及特征M3，特征M3的尺寸大于特征M2，特征M2的尺寸大于M1；
卷积模块：用于将特征M1、特征M2以及特征M3分别输入到1×1卷积核中，使得特征M1、特征M2以及特征M3的通道数相等；
第一轻量级互注意模块：用于将特征M1以及特征M2输入到第一轻量级互注意模块中，第一轻量级互注意模块通过线性投影矩阵获取到特征M1以及特征M2融合后的第一空间注意力特征以及第一通道注意力特征，将第一空间注意力特征以及第一通道注意力特征分别与特征M2进行逐元素相乘，将逐元素相乘后的第一空间注意力特征以及第一通道注意力特征逐元素相加，再与特征M2逐元素相加，得到特征N2；将特征N2以及特征M3输入到第一轻量级互注意模块中，得到特征N3；
所述第一轻量级互注意模块对特征M1以及特征M2进行处理得到第一空间注意力特征包括：
将特征M2展平为矩阵X2，将特征M1先进行池化操作后再展平为矩阵；
将矩阵X2与第一线性投影矩阵相乘得到第一矩阵，将矩阵与第二线性投影矩阵相乘得到第二矩阵，将第一矩阵与第二矩阵相乘，再与第三线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第一空间注意力特征；
所述第一轻量级互注意模块对特征M1以及特征M2的处理得到第一通道注意力特征包括：
将特征M2先进行池化操作后再展平为矩阵，将特征M1先进行池化操作后再展平为矩阵；
将矩阵与第四线性投影矩阵相乘得到第三矩阵，将矩阵与第五线性投影矩阵相乘得到第四矩阵，将第三矩阵与第四矩阵相乘，再与第六线性投影矩阵相乘，对乘积进行层归一化操作，将进行层归一化操作后的乘积作为Sigmoid函数的输入，得到第一通道注意力特征；
第二轻量级互注意模块：用于将特征N3以及特征N2输入到第二轻量级互注意模块中，得到特征F2；将特征F2以及特征M1输入到第二轻量级互注意模块中，得到特征F1；
检测模块：用于通过特征N3、特征F2以及特征F1实现工件表面的缺陷检测。
7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被主控器执行时，实现如权利要求1-5任一项所述的基于轻量级注意力机制的缺陷检测方法中的各个步骤。
CN202211545300.9A 2022-12-05 2022-12-05 基于轻量级注意力机制的缺陷检测方法、装置及存储介质 Active CN115564775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211545300.9A CN115564775B (zh) 2022-12-05 2022-12-05 基于轻量级注意力机制的缺陷检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211545300.9A CN115564775B (zh) 2022-12-05 2022-12-05 基于轻量级注意力机制的缺陷检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115564775A CN115564775A (zh) 2023-01-03
CN115564775B true CN115564775B (zh) 2023-04-14

Family

ID=84770200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211545300.9A Active CN115564775B (zh) 2022-12-05 2022-12-05 基于轻量级注意力机制的缺陷检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115564775B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN113822885A (zh) * 2021-11-23 2021-12-21 常州微亿智造科技有限公司 融合多注意力机制的工件缺陷检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738994B (zh) * 2020-06-10 2024-04-16 南京航空航天大学 一种轻量级的pcb缺陷检测方法
CN112288723B (zh) * 2020-10-30 2023-05-23 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN114820580A (zh) * 2022-05-26 2022-07-29 扬州大学 基于并行注意力补偿机制的fpn晶圆表面缺陷检测方法
CN115035082B (zh) * 2022-06-24 2024-03-29 西安电子科技大学芜湖研究院 一种基于YOLOv4改进算法的航空器透明件缺陷检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733821A (zh) * 2021-03-31 2021-04-30 成都西交智汇大数据科技有限公司 一种融合轻量级注意力模型的目标检测方法
CN113822885A (zh) * 2021-11-23 2021-12-21 常州微亿智造科技有限公司 融合多注意力机制的工件缺陷检测方法和装置

Also Published As

Publication number Publication date
CN115564775A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
Lan et al. MADNet: A fast and lightweight network for single-image super resolution
Yan et al. Attention-guided network for ghost-free high dynamic range imaging
WO2023231329A1 (zh) 一种医学图像的语义分割方法及装置
CN110852383B (zh) 基于注意力机制深度学习网络的目标检测方法及装置
Yan et al. Dual-attention-guided network for ghost-free high dynamic range imaging
CN111932550A (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN112488923A (zh) 图像超分辨率重建方法、装置、存储介质及电子设备
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112419192B (zh) 基于卷积神经网络的isms图像修复和超分辨重建方法及装置
US20090022402A1 (en) Image-resolution-improvement apparatus and method
Yan et al. Ghost removal via channel attention in exposure fusion
CN115272250B (zh) 确定病灶位置方法、装置、计算机设备和存储介质
Wu et al. LiTMNet: A deep CNN for efficient HDR image reconstruction from a single LDR image
Sun et al. Video super-resolution via dense non-local spatial-temporal convolutional network
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN116468605A (zh) 基于时空分层掩膜注意力融合的视频超分辨率重建方法
CN112633260B (zh) 视频动作分类方法、装置、可读存储介质及设备
Lee et al. Learning local implicit fourier representation for image warping
Chambe et al. HDR-LFNet: Inverse tone mapping using fusion network
CN115564775B (zh) 基于轻量级注意力机制的缺陷检测方法、装置及存储介质
Sakurai et al. Restoring aspect ratio distortion of natural images with convolutional neural network
CN111462004B (zh) 图像增强方法和装置、计算机设备、存储介质
Chen et al. Attention mechanism feedback network for image super-resolution
US20230069072A1 (en) Image processing apparatus and operation method thereof
Ye et al. Learning regularized multi-scale feature flow for high dynamic range imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant