CN113822885A - 融合多注意力机制的工件缺陷检测方法和装置 - Google Patents

融合多注意力机制的工件缺陷检测方法和装置 Download PDF

Info

Publication number
CN113822885A
CN113822885A CN202111389550.3A CN202111389550A CN113822885A CN 113822885 A CN113822885 A CN 113822885A CN 202111389550 A CN202111389550 A CN 202111389550A CN 113822885 A CN113822885 A CN 113822885A
Authority
CN
China
Prior art keywords
attention
feature map
module
channel
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111389550.3A
Other languages
English (en)
Other versions
CN113822885B (zh
Inventor
徐超
郭骏
潘正颐
侯大为
倪文渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202111389550.3A priority Critical patent/CN113822885B/zh
Publication of CN113822885A publication Critical patent/CN113822885A/zh
Application granted granted Critical
Publication of CN113822885B publication Critical patent/CN113822885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种融合多注意力机制的工件缺陷检测方法和装置，所述方法包括以下步骤：构建多注意力缺陷检测模型，多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；获取待检测工件的目标检测图像；对目标检测图像进行标注和扩增得到二次目标检测图像；将二次目标检测图像划分为训练集和验证集；根据训练集和验证集对多注意力缺陷检测模型进行训练；采用训练后的多注意力缺陷检测模型对待检测工件进行缺陷检测。本发明既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。

Description

融合多注意力机制的工件缺陷检测方法和装置
技术领域
本发明涉及缺陷检测技术领域，具体涉及一种融合多注意力机制的工件缺陷检测方法和一种融合多注意力机制的工件缺陷检测装置。
背景技术
在工业产品生产流程中，质检是关键环节，而产品表面的外观缺陷质检在制造业中更是一个非常普遍的问题。工业产品出厂前需要对产品的表面状态进行检测，需要获得缺陷的边缘轮廓信息和缺陷的像素分辨率大小来评定缺陷的等级，方便质检人员自定检测的严苛程度和生产车间优化生产工艺。工件表面的许多缺陷与背景之间的差异是非常微小的，在灰度上是逐渐过渡的，这给边界模糊的缺陷分割带来了困难。
此外，传统的缺陷检测算法，一般需要大量的缺陷检测数据，但是工件表面缺陷检测数据量极为有限，难以满足模型训练数据量要求，导致模型的分割精度不足，难以满足实际生产的要求。
发明内容
本发明为解决上述技术问题，提供了一种融合多注意力机制的工件缺陷检测方法，既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
本发明采用的技术方案如下：
一种融合多注意力机制的工件缺陷检测方法，包括以下步骤：构建多注意力缺陷检测模型，所述多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；获取待检测工件的目标检测图像；对所述目标检测图像进行标注和扩增得到二次目标检测图像；将所述二次目标检测图像划分为训练集和验证集；根据所述训练集和所述验证集对所述多注意力缺陷检测模型进行训练；采用训练后的所述多注意力缺陷检测模型对所述待检测工件进行缺陷检测。
根据本发明的一个实施例，构建多注意力缺陷检测模型，包括以下步骤：根据所述金字塔分割注意力机制模块、所述通道注意力机制模块和所述空间自注意力机制模块构建融合多注意力机制模块；将所述融合多注意力机制模块嵌入所述Unet网络模型得到所述多注意力缺陷检测模型，具体采用所述融合多注意力机制模块替换所述Unet网络模型的解码器结构中的所有3*3卷积层。
根据本发明的一个实施例，所述融合多注意力机制模块具体用于：利用所述金字塔分割注意力机制模块和所述通道注意力机制模块处理输入特征图以得到第一特征图；对所述第一特征图进行池化卷积处理得到第二特征图；利用所述空间自注意力机制模块处理所述第二特征图以得到第三特征图并将其输出。
根据本发明的一个实施例，利用所述金字塔分割注意力机制模块和所述通道注意力机制模块处理输入特征图以得到第一特征图，包括以下步骤：根据所述输入特征图的通道将其分割为多组通道特征图；采用多尺度卷积处理所述多组通道特征图；将处理后的所述多组通道特征图进行融合得到多组通道融合特征图；对所述多组通道融合特征图进行Squeeze特征压缩以得到多尺度通道特征图；对所述多尺度通道特征图进行Excitation、Sigmoid、Softmax操作以得到所述多尺度通道特征图的通道注意力权重；根据所述多尺度通道特征图的通道注意力权重对所述多组通道融合特征图进行加权，并将加权后的所述多组通道融合特征图进行维度拼接以得到所述第一特征图。
根据本发明的一个实施例，对所述第一特征图进行池化卷积处理得到第二特征图，包括以下步骤：对所述第一特征图分别进行第一空洞卷积、全局平均池化、第二空洞卷积处理；将第一空洞卷积和全局平均池化处理后得到的特征图进行一次相乘；将第二空洞卷积和全局平均池化处理后得到的特征图进行二次相乘；将一次相乘和二次相乘处理后得到的特征图进行拼接以得到所述第二特征图。
根据本发明的一个实施例，利用所述空间自注意力机制模块处理所述第二特征图以得到第三特征图，包括以下步骤：对所述第二特征图进行卷积处理；对卷积处理后的所述第二特征图进行reshape处理得到第一向量、第二向量和第三向量；将所述第一向量和所述第二向量相乘得到协方差矩阵；将所述协方差矩阵和所述第三向量相乘得到第四向量；对所述第四向量进行reshape处理；将reshape处理后的所述第四向量与卷积处理后的所述第二特征图进行残差连接以得到所述第三特征图。
一种融合多注意力机制的工件缺陷检测装置，包括：建模模块，所述建模模块用于构建多注意力缺陷检测模型，所述多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；获取模块，所述获取模块用于获取待检测工件的目标检测图像；第一处理模块，所述第一处理模块用于对所述目标检测图像进行标注和扩增得到二次目标检测图像；第二处理模块，所述第二处理模块用于将所述二次目标检测图像划分为训练集和验证集；训练模块，所述训练模块用于根据所述训练集和所述验证集对所述多注意力缺陷检测模型进行训练；检测模块，所述检测模块用于采用训练后的所述多注意力缺陷检测模型对所述待检测工件进行缺陷检测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述实施例的融合多注意力机制的工件缺陷检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述实施例的融合多注意力机制的工件缺陷检测方法。
本发明的有益效果：
本发明既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
附图说明
图1为本发明实施例的融合多注意力机制的工件缺陷检测方法的流程图；
图2为本发明一个实施例的多注意力缺陷检测模型的结构示意图；
图3为本发明一个实施例的金字塔分割注意力机制模块的结构示意图；
图4为本发明一个实施例的融合多注意力机制模块的结构示意图；
图5为本发明一个实施例的金字塔分割注意力机制模块的工作流程图；
图6为本发明一个实施例的空间自注意力机制模块的结构示意图；
图7为本发明实施例的融合多注意力机制的工件缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的融合多注意力机制的工件缺陷检测方法的流程图。
如图1所示，本发明实施例的融合多注意力机制的工件缺陷检测方法，包括以下步骤：
S1，构建多注意力缺陷检测模型，多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型。
需要说明的是，本发明的多注意力缺陷检测模型是以Unet网络模型为基础构建的，由此，能够具有Unet网络模型的轻量、推理速度快的优点。
具体地，上述步骤S1包括以下步骤：可根据金字塔分割注意力机制模块、通道注意力机制模块和空间自注意力机制模块构建融合多注意力机制模块；可将融合多注意力机制模块嵌入Unet网络模型得到多注意力缺陷检测模型，例如，如图2所示，可采用融合多注意力机制模块替换Unet网络模型的解码器结构中的所有3*3卷积层。
其中，需要说明的是，如图3所示，本发明的通道注意力机制模块可嵌入金字塔分割注意力机制模块中，由此，本发明的通道注意力机制模块、金字塔分割注意力机制模块和空间自注意力机制模块可构成图4所示的融合多注意力机制模块。
具体地，如图4所示，融合多注意力机制模块可通过金字塔分割注意力机制模块连接输入特征图，并可对应金字塔分割注意力机制模块的输出端设置三个分支结构以处理金字塔分割注意力机制模块的输出特征图，并且三个分支结构的输出特征图可经过分类相乘、以及拼接后输入空间自注意力机制模块。
更具体地，融合多注意力机制模块可利用金字塔分割注意力机制模块和通道注意力机制模块处理输入特征图以得到第一特征图，并可对第一特征图进行池化卷积处理得到第二特征图，然后可利用空间自注意力机制模块处理第二特征图以得到第三特征图并将其输出。
下面将结合图3、图4、图5、图6对融合多注意力机制模块的工作过程进行详细说明。
如图5所示，金字塔分割注意力机制模块和通道注意力机制模块可具体用于：
S101，根据输入特征图的通道将其分割为多组通道特征图。
具体地，参照图3，可根据输入特征图的通道将其分割为s组通道特征图，可用X0， X1，X2，…，Xs-1表示，其中，每组通道特征图的通道数可为
Figure 275579DEST_PATH_IMAGE001
，其中C表示输入特征图的 通道尺寸。
S102，采用多尺度卷积处理多组通道特征图。
具体地，参照图3，可依次采用卷积核为3，5，7，…，2s+1的卷积对应提取X0，X1，X2，…，Xs-1的通道特征图，从而得到特征图F0，F1，F2，…，Fs-1。
S103，将处理后的多组通道特征图进行融合得到多组通道融合特征图。
具体地，参照图3，可将特征图F0，F1，F2，…，Fs-1融合以得到多组通道融合特征图 F=[F0，F1，F2，…，Fs-1]，其中，
Figure 121043DEST_PATH_IMAGE002
，其中，W表示通道宽度，H表示通道高度，C表示 通道尺寸。
S104，对多组通道融合特征图进行Squeeze特征压缩以得到多尺度通道特征图。
具体地，参照图3，可对多组通道融合特征图F进行Squeeze全局信息嵌入，即进行Golbal pooling（全局池化）以根据空间维度对多组通道融合特征图F进行特征压缩，以将多组通道融合特征图中F（W，H）两个通道参数压缩为（1，1），从而可得到1*1*C的特征图。需要说明的是，将多组通道融合特征图F中的每个二维特征通道参数压缩为一个实数，该实数具有全局的感受野，并且输出的维度与输入的特征通道数相匹配。
S105，对多尺度通道特征图进行Excitation、Sigmoid、Softmax操作以得到多尺度通道特征图的通道注意力权重。
具体地，可对1*1*C特征图进行Excitation操作，即经过两个FC（FullyConnected，全连接）和一个ReLU（Rectified Linear Unit，线性整流函数）以利用全局信息对1*1*C特征图中的有益特征通道进行增强，并对1*1*C特征图中的无用特征通道进行抑制，从而能够实现1*1*C特征图中特征通道的自适应校准。
进一步地，可采用Sigmoid激活函数对Excitation操作输出的特征图进行处理，以生成该输出特征图的通道权值，从而得到不同尺度通道的通道注意力向量。
进一步地，参照图3，可采用Softmax函数对不同尺度通道的通道注意力向量进行特征标定，从而可得到不同尺度通道交互之后的注意力权重，即多尺度通道特征图的通道注意力权重，例如0、1、…、s-1。
S106，根据多尺度通道特征图的通道注意力权重对多组通道融合特征图进行加权，并将加权后的多组通道融合特征图进行维度拼接以得到第一特征图。
具体地，参照图3，可将多尺度通道特征图的通道注意力权重与多组通道融合特征图进行channel-wise级别的相乘，以对多组通道融合特征图进行加权，然后可将加权后的多组通道融合特征图进行维度拼接以得到第一特征图R，由此得到的第一特征图R的多尺度信息表达能力更为丰富。
如图4所示，对第一特征图进行池化卷积处理得到第二特征图，具体包括以下步骤：对第一特征图分别进行第一空洞卷积、全局平均池化、第二空洞卷积处理；将第一空洞卷积和全局平均池化处理后得到的特征图进行一次相乘；将第二空洞卷积和全局平均池化处理后得到的特征图进行二次相乘；将一次相乘和二次相乘处理后得到的特征图进行拼接以得到第二特征图。
更具体地，如图4所示，可采用Atrous Rate=3，kernel size=3的卷积核对第一特征图R进行第一空洞卷积，并可采用Atrous Rate=6，kernel size=3的卷积核对第一特征图R进行第二空洞卷积，此外还可对第一特征图进行全局平均池化处理；进一步地，可将第一空洞卷积和全局平均池化处理后得到的特征图进行channel-wise级别的一次相乘，并可将第二空洞卷积和全局平均池化处理后得到的特征图进行channel-wise级别的二次相乘，然后可将将一次相乘和二次相乘处理后得到的特征图进行Concat拼接以得到第二特征图X。
如图6所示，空间自注意力机制模块具体用于：对第二特征图进行卷积处理；对卷积处理后的第二特征图进行reshape处理得到第一向量、第二向量和第三向量；将第一向量和第二向量相乘得到协方差矩阵；将协方差矩阵和第三向量相乘得到第四向量；对第四向量进行reshape处理；将reshape处理后的第四向量与卷积处理后的第二特征图进行残差连接以得到第三特征图。
更具体地，如图6所示，可对第二特征图X进行卷积处理得到特征图M，然后可对特征图M进行reshape处理以得到第一向量A、第二向量B和第三向量C；进一步地，可将第一向量A和第二向量B相乘得到大小为HW*HW的Covariance matrix（协方差矩阵）S，并可将协方差矩阵S与第三向量C相乘以得到第四向量D，由此，可根据每个预测像素在图像中与其他像素之间的相似性来增强或减弱每个预测像素的值,使用相似的像素，忽略不相似的像素；更进一步地，可将第四向量D reshape成H*W，并可将该H*W与特征图M进行残差连接已得到第三特征图P。
S2，获取待检测工件的目标检测图像。
具体地，可通过工业相机获取待检测工件的目标检测图像。
S3，对目标检测图像进行标注和扩增得到二次目标检测图像。
具体地，可对目标检测图像进行缺陷标注，并可对标注后的图像进行去噪、图像增强、图像裁剪、旋转、缩放、翻转处理以对标注后的图像进行扩增，从而得到二次目标检测图像。
S4，将二次目标检测图像划分为训练集和验证集。
具体地，可将二次目标检测图像按照预设比例划分为训练集和验证集，例如可将二次目标检测图像中的80%划分为训练集、20%划分为验证集。
S5，根据训练集和验证集对多注意力缺陷检测模型进行训练。
具体地，可采用训练集对多注意力缺陷检测模型进行训练，并可将训练得到的多注意力缺陷检测模型在验证集上计算mPA（Mean Pixel Accuracy，类别平均像素准确率）指标，mPA为计算每一类分类正确的像素点数和该类的所有像素点数的比例然后求平均，mPA公式为：
Figure 634457DEST_PATH_IMAGE003
其中，k为图像分割任务总缺陷类别数，
Figure 736624DEST_PATH_IMAGE004
表示将i类缺陷类别预测为i类，
Figure 979256DEST_PATH_IMAGE005
表 示将i类缺陷类别预测为j类。如果mPA大于实际生产需要的值，则模型训练完成。
S6，采用训练后的多注意力缺陷检测模型对待检测工件进行缺陷检测。
具体检测过程可参照图2所示的多注意力缺陷检测模型，如图2所示，可输入待检测工件的目标检测图像，经过多注意力缺陷检测模型中保留的Unet网络模型进行特征提取，例如，对于输入的尺寸为572*572*1的目标检测图像，通过特征提取可逐步压缩目标检测图像的尺寸（尺寸变化可参照图2），由此可得到目标检测图像的浅层次特征，即图2中虚线框标注的特征图。
进一步地，提取得到的特征图可进行多步上采样以逐步放大其尺寸（尺寸变化可参照图2），由此可得到目标检测图像的深层次特征，以第一步上采样为例，第一步上采样提取得到的深层次特征图，即尺寸为56*56*512的特征图可与下采样提取得到的浅层次特征图，即尺寸为64*64*512的特征图中虚线框标注的尺寸为56*56*512的特征图融合，并且融合后的特征图可输入融合多注意力机制模块，融合多注意力机制模块输出的特征图继续可进行下一步上采样，直至完成上采样过程以得到388*388*64的输出特征。
更进一步地，融合多注意力机制模块输出的特征图可经过1*1的卷积降维得到分割图像，即尺寸为388*388*2的分割图像，从而完成目标检测图像的分割检测，并可根据分割结果判断待检测工件是否存在缺陷。由此，能够利用全局信息来计算目标像素，进而能够提高分割精度。
下面为说明本发明的融合多注意力机制的工件缺陷检测方法的有益效果，可选用相同的目标检测图像分别输入现有检测模型，例如Mask-RCNN（Mask Region-basedConvolutional Neural Network，掩膜基于区域的卷积神经网络）、Cascade Mask RCNN（Cascade MaskRegion-based Convolutional Neural Network，级联掩膜基于区域的卷积神经网络）、HTC（Hybrid Task Cascade，混合任务级联）检测模型，以及本发明的多注意力缺陷检测模型，对其检测结果进行比较。
具体地，如表1所示，在本发明的多注意力缺陷检测模型的检测结果中，mPA数据为0.95，FPS（Frames Per Second，每秒传输帧数）数据为41，Time数据为24，其中，FPS数据和Time数据最优，mPA数据仅次于HTC检测模型，由此可知，本发明的融合多注意力机制的工件缺陷检测方法整体检测时间较短，数据传输数据较快，能够具有较高的推理速度，并且类别平均像素准确率较高，能够有效提取更细粒度的多尺度空间信息。
表1
Figure 985782DEST_PATH_IMAGE006
根据本发明实施例提出的融合多注意力机制的工件缺陷检测方法，利用金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型构建多注意力缺陷检测模型，并通过该多注意力缺陷检测模型对待检测工件进行缺陷检测，由此，既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
对应上述实施例，本发明还提出一种融合多注意力机制的工件缺陷检测装置。
如图7所示，本发明实施例的融合多注意力机制的工件缺陷检测装置包括建模模块10、获取模块20、第一处理模块30、第二处理模块40、训练模块50、检测模块60。其中，建模模块10用于构建多注意力缺陷检测模型，多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；获取模块20用于获取待检测工件的目标检测图像；第一处理模块30用于对目标检测图像进行标注和扩增得到二次目标检测图像；第二处理模块40用于将二次目标检测图像划分为训练集和验证集；训练模块50用于根据训练集和验证集对多注意力缺陷检测模型进行训练；检测模块60用于采用训练后的多注意力缺陷检测模型对待检测工件进行缺陷检测。
需要说明的是，本发明实施例的融合多注意力机制的工件缺陷检测装置，其具体实时方式可参照上述实施例的融合多注意力机制的工件缺陷检测方法，在此不再赘述。
根据本发明实施例提出的融合多注意力机制的工件缺陷检测装置，通过利用金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型构建多注意力缺陷检测模型，并通过该多注意力缺陷检测模型对待检测工件进行缺陷检测，由此，既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述实施例的融合多注意力机制的工件缺陷检测方法。
根据本发明实施例的计算机设备，既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例的融合多注意力机制的工件缺陷检测方法。
根据本发明实施例的非临时性计算机可读存储介质，既具有Unet网络模型的轻量、推理速度快的优点，又能够有效地提取更细粒度的多尺度空间信息，从而能够保证使卷积能利用全局信息来计算目标像素，进而能够提高分割精度。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种融合多注意力机制的工件缺陷检测方法，其特征在于，包括以下步骤：
构建多注意力缺陷检测模型，所述多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；
获取待检测工件的目标检测图像；
对所述目标检测图像进行标注和扩增得到二次目标检测图像；
将所述二次目标检测图像划分为训练集和验证集；
根据所述训练集和所述验证集对所述多注意力缺陷检测模型进行训练；
采用训练后的所述多注意力缺陷检测模型对所述待检测工件进行缺陷检测。
2.根据权利要求1所述的融合多注意力机制的工件缺陷检测方法，其特征在于，构建多注意力缺陷检测模型，包括以下步骤：
根据所述金字塔分割注意力机制模块、所述通道注意力机制模块和所述空间自注意力机制模块构建融合多注意力机制模块；
将所述融合多注意力机制模块嵌入所述Unet网络模型得到所述多注意力缺陷检测模型，具体采用所述融合多注意力机制模块替换所述Unet网络模型的解码器结构中的所有3*3卷积层。
3.根据权利要求2所述的融合多注意力机制的工件缺陷检测方法，其特征在于，所述融合多注意力机制模块具体用于：
利用所述金字塔分割注意力机制模块和所述通道注意力机制模块处理输入特征图以得到第一特征图；
对所述第一特征图进行池化卷积处理得到第二特征图；
利用所述空间自注意力机制模块处理所述第二特征图以得到第三特征图并将其输出。
4.根据权利要求3所述的融合多注意力机制的工件缺陷检测方法，其特征在于，利用所述金字塔分割注意力机制模块和所述通道注意力机制模块处理输入特征图以得到第一特征图，包括以下步骤：
根据所述输入特征图的通道将其分割为多组通道特征图；
采用多尺度卷积处理所述多组通道特征图；
将处理后的所述多组通道特征图进行融合得到多组通道融合特征图；
对所述多组通道融合特征图进行Squeeze特征压缩以得到多尺度通道特征图；
对所述多尺度通道特征图进行Excitation、Sigmoid、Softmax操作以得到所述多尺度通道特征图的通道注意力权重；
根据所述多尺度通道特征图的通道注意力权重对所述多组通道融合特征图进行加权，并将加权后的所述多组通道融合特征图进行维度拼接以得到所述第一特征图。
5.根据权利要求4所述的融合多注意力机制的工件缺陷检测方法，其特征在于，对所述第一特征图进行池化卷积处理得到第二特征图，包括以下步骤：
对所述第一特征图分别进行第一空洞卷积、全局平均池化、第二空洞卷积处理；
将第一空洞卷积和全局平均池化处理后得到的特征图进行一次相乘；
将第二空洞卷积和全局平均池化处理后得到的特征图进行二次相乘；
将一次相乘和二次相乘处理后得到的特征图进行拼接以得到所述第二特征图。
6.根据权利要求5所述的融合多注意力机制的工件缺陷检测方法，其特征在于，利用所述空间自注意力机制模块处理所述第二特征图以得到第三特征图，包括以下步骤：
对所述第二特征图进行卷积处理；
对卷积处理后的所述第二特征图进行reshape处理得到第一向量、第二向量和第三向量；
将所述第一向量和所述第二向量相乘得到协方差矩阵；
将所述协方差矩阵和所述第三向量相乘得到第四向量；
对所述第四向量进行reshape处理；
将reshape处理后的所述第四向量与卷积处理后的所述第二特征图进行残差连接以得到所述第三特征图。
7.一种融合多注意力机制的工件缺陷检测装置，其特征在于，包括：
建模模块，所述建模模块用于构建多注意力缺陷检测模型，所述多注意力缺陷检测模型包括金字塔分割注意力机制模块、通道注意力机制模块、空间自注意力机制模块和Unet网络模型；
获取模块，所述获取模块用于获取待检测工件的目标检测图像；
第一处理模块，所述第一处理模块用于对所述目标检测图像进行标注和扩增得到二次目标检测图像；
第二处理模块，所述第二处理模块用于将所述二次目标检测图像划分为训练集和验证集；
训练模块，所述训练模块用于根据所述训练集和所述验证集对所述多注意力缺陷检测模型进行训练；
检测模块，所述检测模块用于采用训练后的所述多注意力缺陷检测模型对所述待检测工件进行缺陷检测。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现根据权利要求1-6中任一项所述的融合多注意力机制的工件缺陷检测方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-6中任一项所述的融合多注意力机制的工件缺陷检测方法。
CN202111389550.3A 2021-11-23 2021-11-23 融合多注意力机制的工件缺陷检测方法和装置 Active CN113822885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111389550.3A CN113822885B (zh) 2021-11-23 2021-11-23 融合多注意力机制的工件缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111389550.3A CN113822885B (zh) 2021-11-23 2021-11-23 融合多注意力机制的工件缺陷检测方法和装置

Publications (2)

Publication Number Publication Date
CN113822885A true CN113822885A (zh) 2021-12-21
CN113822885B CN113822885B (zh) 2022-02-11

Family

ID=78919625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111389550.3A Active CN113822885B (zh) 2021-11-23 2021-11-23 融合多注意力机制的工件缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN113822885B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677661A (zh) * 2022-03-24 2022-06-28 智道网联科技(北京)有限公司 一种路侧标识识别方法、装置和电子设备
CN114820444A (zh) * 2022-03-21 2022-07-29 东华大学 基于多注意力宽度神经网络模型的混合缺陷识别方法
CN115082434A (zh) * 2022-07-21 2022-09-20 浙江华是科技股份有限公司 一种基于多源特征的磁芯缺陷检测模型训练方法及系统
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115564789A (zh) * 2022-12-01 2023-01-03 北京矩视智能科技有限公司 一种跨级融合的工件缺陷区域分割方法、装置及存储介质
CN115564775A (zh) * 2022-12-05 2023-01-03 北京矩视智能科技有限公司 基于轻量级注意力机制的缺陷检测方法、装置及存储介质
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116630626A (zh) * 2023-06-05 2023-08-22 吉林农业科技学院 连通双注意力多尺度融合语义分割网络
CN117132592A (zh) * 2023-10-24 2023-11-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于熵融合的工业缺陷检测方法
CN117197146A (zh) * 2023-11-08 2023-12-08 北京航空航天大学江西研究院 一种铸件内部缺陷自动识别方法
CN116071309B (zh) * 2022-12-27 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN112232391A (zh) * 2020-09-29 2021-01-15 河海大学 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN113298757A (zh) * 2021-04-29 2021-08-24 同济大学 一种基于u-net卷积神经网络的金属表面缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035233A (zh) * 2018-07-24 2018-12-18 西安邮电大学 视觉注意力网络及工件表面缺陷检测方法
CN112232391A (zh) * 2020-09-29 2021-01-15 河海大学 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法
CN113298757A (zh) * 2021-04-29 2021-08-24 同济大学 一种基于u-net卷积神经网络的金属表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
深度学习技术前沿: "最强通道注意力来啦！金字塔分割注意力模块，即插即用，效果显著，已开源", 《HTTPS://BLOG.CSDN.NET/WEIXIN_47196664/ARTICLE/DETAILS/117857949》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820444A (zh) * 2022-03-21 2022-07-29 东华大学 基于多注意力宽度神经网络模型的混合缺陷识别方法
CN114677661A (zh) * 2022-03-24 2022-06-28 智道网联科技(北京)有限公司 一种路侧标识识别方法、装置和电子设备
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115115610A (zh) * 2022-07-20 2022-09-27 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115115610B (zh) * 2022-07-20 2023-08-22 南京航空航天大学 基于改进卷积神经网络的工业ct识别复材内部缺陷方法
CN115082434A (zh) * 2022-07-21 2022-09-20 浙江华是科技股份有限公司 一种基于多源特征的磁芯缺陷检测模型训练方法及系统
CN115082434B (zh) * 2022-07-21 2022-12-09 浙江华是科技股份有限公司 一种基于多源特征的磁芯缺陷检测模型训练方法及系统
CN115564789A (zh) * 2022-12-01 2023-01-03 北京矩视智能科技有限公司 一种跨级融合的工件缺陷区域分割方法、装置及存储介质
CN115564775B (zh) * 2022-12-05 2023-04-14 北京矩视智能科技有限公司 基于轻量级注意力机制的缺陷检测方法、装置及存储介质
CN115564775A (zh) * 2022-12-05 2023-01-03 北京矩视智能科技有限公司 基于轻量级注意力机制的缺陷检测方法、装置及存储介质
CN116071309A (zh) * 2022-12-27 2023-05-05 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116071309B (zh) * 2022-12-27 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 元器件的声扫缺陷检测方法、装置、设备和存储介质
CN116630626A (zh) * 2023-06-05 2023-08-22 吉林农业科技学院 连通双注意力多尺度融合语义分割网络
CN116630626B (zh) * 2023-06-05 2024-04-26 吉林农业科技学院 连通双注意力多尺度融合语义分割网络
CN117132592A (zh) * 2023-10-24 2023-11-28 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于熵融合的工业缺陷检测方法
CN117132592B (zh) * 2023-10-24 2024-01-26 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于熵融合的工业缺陷检测方法
CN117197146A (zh) * 2023-11-08 2023-12-08 北京航空航天大学江西研究院 一种铸件内部缺陷自动识别方法

Also Published As

Publication number Publication date
CN113822885B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN113822885B (zh) 融合多注意力机制的工件缺陷检测方法和装置
KR102011628B1 (ko) 검사 장치 및 검사 방법
CN108961180B (zh) 红外图像增强方法及系统
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
CN110969606B (zh) 一种纹理表面缺陷检测方法及系统
CN112465759A (zh) 一种基于卷积神经网络的航空发动机叶片缺陷检测方法
Abouelaziz et al. A convolutional neural network framework for blind mesh visual quality assessment
Abouelaziz et al. Blind 3D mesh visual quality assessment using support vector regression
CN114419029B (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN113793333A (zh) 应用于工业质检的缺陷图片生成方法及装置
CN115359064A (zh) 工业缺陷检测方法和装置
CN113378976A (zh) 一种基于特征顶点组合的目标检测方法、可读存储介质
CN112819748A (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113256608B (zh) 工件缺陷检测方法和装置
CN112767331A (zh) 基于零样本学习的图像异常检测方法
CN117058606A (zh) 一种x射线图像违禁品检测方法
Abouelaziz et al. A blind mesh visual quality assessment method based on convolutional neural network
CN114419078B (zh) 基于卷积神经网络的表面缺陷区域分割方法及装置
CN115861305A (zh) 柔性电路板检测方法、装置、计算机设备及存储介质
CN114841977A (zh) 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法
CN115147348A (zh) 基于改进的YOLOv3的轮胎缺陷检测方法及系统
CN113034432A (zh) 一种产品缺陷检测方法、系统、装置及存储介质
Magdalena et al. Identification of beef and pork using gray level co-occurrence matrix and probabilistic neural network
CN115578565B (zh) 注意力尺度感知引导的轻量化U-net方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant