CN114757904A - 一种基于ai深度学习算法的表面缺陷检测方法 - Google Patents

一种基于ai深度学习算法的表面缺陷检测方法 Download PDF

Info

Publication number
CN114757904A
CN114757904A CN202210362561.0A CN202210362561A CN114757904A CN 114757904 A CN114757904 A CN 114757904A CN 202210362561 A CN202210362561 A CN 202210362561A CN 114757904 A CN114757904 A CN 114757904A
Authority
CN
China
Prior art keywords
attention
network
training
defect detection
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210362561.0A
Other languages
English (en)
Inventor
张德华
郝昕源
董涛
梁琳琳
秦春斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202210362561.0A priority Critical patent/CN114757904A/zh
Publication of CN114757904A publication Critical patent/CN114757904A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于AI深度学习算法的表面缺陷检测方法，包括如下步骤：建立基础卷积神经分类网络，并插入Coordinate注意力机制模块，然后在大型数据集图像网上进行预训练获得预训练权重，保存权重；将待检测图片输入建立的卷积神经网络，获得多个特征图与注意力图；由得到的注意力图指导进行数据增强；将获取到的注意力图与特征图进行双线性注意力叠加的全局平均池化，以得到特征向量，而后拼接成为特征矩阵；构建网络的损失函数，设置网络的超参数并采用带有弱标签的数据集以进行训练。本发明通过替代的弱注释来减少人类在图像标记方面的人工成本，模型更准确地定位到并识别目标区域，并且其对于计算的开销较小。

Description

一种基于AI深度学习算法的表面缺陷检测方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于AI深度学习算法的 表面缺陷检测方法。
背景技术
表面缺陷检测是智能制造行业生产质量控制的重要组成部分。传统上， 制造业中的大多数表面缺陷检测任务仍然是人工完成的。遗憾的是，人工缺 陷检查存在主观不稳定和耗时的缺点。随着近年来图像处理技术的快速发展， 可以预见的是，检验中涉及的人工工作将被自动化所取代，这不仅可以降低 人工成本，还可以提高效率。
早期的机器学习视觉模型依赖于人工分析提取缺陷特征得到的具体视觉 检测任务，然后利用基于规则的经验或基于学习的分类器进行决策，其系统 性能很大程度上取决于特定特征类型的准确表示。然而，现代制造技术需要 更稳定的产品线，这限制了传统机器学习模型的使用。传统的机器学习模型 需要较长的开发周期来适应不同的任务。
近年来，基于AI深度学习与卷积神经网络的目标检测方法得到了广泛的 研究。它可以自动提取特征，在分类和定位等图像相关任务中取得良好的性 能，并且由于其具有实时性、鲁棒性和泛化能力强等优点，在表面缺陷自动 检测方面显示出巨大的潜力。然而，由于以下原因，其还未能很好地进行工 业应用。为了保证深度卷积神经网络稳定可靠的性能，在训练过程中需要大 量的人工标注数据。不幸的是，精确的注释(如边界框和像素级注释)非常 耗时，并且在商业上很昂贵。这一困难在工业应用中尤为突出，因为工业图 像上弱缺陷的边界模糊，即使对于有经验的工人也难以准确识别。
综上，现有技术存在如下不足:
(1)工厂环境存在光照变化、灰度变化、遮挡、背景干扰等诸多不确定 因素；
(2)工业产品表面缺陷存在类内方差较大，类间方差较小的特点；(3) 并且工业界可获得的数据集较少、制作标签的成本极高。
发明内容
本发明的目的在于提供一种基于AI深度学习算法的表面缺陷检测方法， 通过探索替代的弱注释来减少人类在图像标记方面的努力，模型更准确地定 位到并识别目标区域，并且其对于计算的开销较小，以解决上述背景技术中 提出的基于AI深度学习的表面缺陷检测领域中数据集不足的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于AI深度学习算法的表面缺陷检测方法，包括如下步骤：
步骤1：建立基础卷积神经分类网络，并插入Coordinate注意力机制模 块。然后在大型数据集图像网上进行预训练获得预训练权重，保存权重；
步骤2：将待检测图片输入步骤1中建立的卷积神经网络，分别获得多个 特征图与注意力图；
步骤3：由步骤2中得到的注意力图指导进行数据增强，并将增强后的数 据输入回基本网络；
步骤4：将步骤3获取到的注意力图与特征图进行双线性注意力叠加的全 局平均池化，以得到特征向量，而后拼接成为特征矩阵；
步骤5：构建网络的损失函数，包括分类损失与注意力正则化损失，分类 损失为普通的均方误差；
步骤6：设置网络的超参数并采用带有弱标签的数据集以进行训练；
步骤7：使用训练完成的网络执行缺陷检测任务，可得到缺陷类别。
进一步地，步骤1的Coordinate注意力机制通过位置信息对通道关系和 长程依赖进行编码，其过程分为两个步骤：坐标信息嵌入和Coordinate注意 力生成。
进一步地，坐标信息嵌入流程为：
对于给定的输入X，首先使用尺寸为(H,1)与(1，W)的池化核沿着水 平坐标方向和竖直坐标方向对每个通道进行编码，高度为τ的第ω个通道的 输出定义表述如下：
Figure BDA0003584526990000031
对于宽度为φ的第ω个通道的输出定义表述如下：
Figure BDA0003584526990000032
上述两个变换沿着两个空间方向进行特征聚合，返回一对基于方向感知 的特征图。
进一步地，Coordinate注意力生成流程为：
级联这两个特征图，然后使用一个共享的1x1卷积进行变换F1，生成的
Figure BDA0003584526990000033
Figure BDA0003584526990000034
是对空间信息在水平方向和竖直方向的中间特征图，这里的r表 示下采样比例:
η＝σ(F1([zτ，zω]))
接着，沿着空间维度将切分为两个单独的张量
Figure BDA0003584526990000035
Figure BDA0003584526990000036
再利用两个1x1卷积FT和Fφ将特征图ηT和ηφ变换到和输入X同样的通道 数，表示如下：
λτ＝ξ(Fτ(ητ))
Figure BDA0003584526990000037
最终对λT和λφ进行扩展，作为注意力权重，Coordinate注意力机制模 块最终的输出表述如下：
Figure BDA0003584526990000041
进一步地，步骤3中对于每张用于训练的输入图像，随机选择其由步骤2 生成的众多注意力图之一Ωk，首先将其进行标准化为第i个增强图
Figure BDA0003584526990000042
可以表 示为：
Figure BDA0003584526990000043
进一步地，步骤4中双线性注意力叠加的全局平均池化为将注意力图和 特征图逐元素相加，生成M个部分特征图，特征图通过函数σ(·)生成注意 力特征向量αk，过程进行如下描述：
zk＝Ωk+z，(k＝1，2，3......，M)
αk＝σ(zk)
其中Ω表示注意力图，Z表示特征图，各个注意力特征向量αk堆叠形成 部分特征矩阵Φ表述如下：
Figure BDA0003584526990000044
其中，函数γ(·)代表双线性注意力叠加的全局平均池化。
进一步地，步骤5中注意力正则化损失目的是使步骤4中注意力特征 向量αk逐步逼近全局特征中心tk，损失函数Fι进行如下表示：
Figure BDA0003584526990000045
tk初始化为0，在训练过程中逐步更新，新的tk为原始tk加上(αk-tk)·∈， ∈为可以自行设置的更新率。
进一步地，步骤6中超参数包括训练策略，学习率，批量的大小，优化 方法，权重衰减参数，迭代次数，动量系数，学习率更新策略，网络采用首 先采用上述移动网络电视网络的预训练权重进行训练，同时冻结上述移动网 络电视网络的权重更新训练30个时期，解冻权重后训练50个时期，期间采 用随机梯度下降优化方式进行训练。
进一步地，Coordinate注意力机制模块解析SE通道注意力模块，给定输 入特征，SE通道注意力模块首先为每个通道独立采用全局平均池化，然后使 用两个全连接层以及非线性Sigmoid函数来生成通道权重，两个全连接层捕 获非线性跨通道交互，Coordinate注意力机制模块包括增强特征聚合、通道 和空间注意的结合，采用内核大小为k×k的2D卷积计算空间注意力，然后 将其与通道注意力结合起来。
进一步地，步骤7中通过CAM方法通过注意力图得到热力图，与原始图 片进行叠加便可得到缺陷区域的显示。
与现有技术相比，本发明的有益效果是：
1、本发明一种基于AI深度学习算法的表面缺陷检测方法，采用 Coordinate注意力机制模块，不同于通道注意力机制与空间注意力机制， Coordinate注意力机制同时考虑了通道间关系和位置信息。其不仅具有跨通 道的信息，还包含方向与位置的信息，这使得模型更准确地定位到并识别目 标区域。并且其对于计算的开销较小。
2、本发明一种基于AI深度学习算法的表面缺陷检测方法，采用基于注 意力引导的数据增强，不同于随机数据增强，例如Mosaic、CutMix等随机数 据增强均有概率对网络预测结果产生负面影响，而基于注意力指导的数据增 强会提供最优质的数据返回给网络。
3、本发明一种基于AI深度学习算法的表面缺陷检测方法，在公开数据 集缺陷数据集NEU-CLS上进行验证，本发明提出的网络可以在10个周期内学 习达到100％的正确率。
附图说明
图1为本发明的一种基于AI深度学习算法的表面缺陷检测方法的流程图；
图2为本发明的一种基于AI深度学习算法的表面缺陷检测方法的步骤3 中对最显著区域的掩盖流程图；
图3为本发明的一种基于AI深度学习算法的表面缺陷检测方法的特征矩 阵拼接流程图；
图4为本发明一种基于AI深度学习算法的表面缺陷检测方法的 Coordinate注意力机制示意图；
图5为本发明一种基于AI深度学习算法的表面缺陷检测方法的bneck结 构流程示意图；
图6为本发明一种基于AI深度学习算法的表面缺陷检测方法的网络整体 结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本实施例提出一种基于AI深度学习算法的表面缺陷检测方 法，包括如下步骤：
步骤1：建立基础卷积神经分类网络，采用移动网络电视轻量级分类网络， 并插入Coordinate注意力机制模块，采用的具体结构如下表所示：
Figure BDA0003584526990000061
Figure BDA0003584526990000071
然后在大型数据集图像网上进行预训练获得预训练权重，保存权重； Coordinate注意力机制通过位置信息对通道关系和长程依赖进行编码，其过 程分为两个步骤：坐标信息嵌入和Coordinate注意力生成，表中becnk的具 体结构如图5所示，表中“操作”一列中3×3或5×5代表图5中深度可分 离卷积的卷积核大小，表中“Coordinate模块”一列代表图5中的注意力机 制是否使用，使用为√，不使用为-，表中“步长”一列代表图5中深度可分 离卷积的步长大小。表中激活函数HS代表h-swish函数，RE代表Relu函数。 Relu函数的计算公式如下：
f(x)＝max(0，x)
h-swish函数的计算公式如下，其中Relu6为限制Relu函数的最大输出 为6：
Figure BDA0003584526990000081
关于附图5，输入通道数据，判定输入的通道数据与输出的通道数据是否 相等，如果相等，1x1卷积，对于1x1的卷积核，此时1x1卷积只是把原始数 据乘以一个倍数(卷积核的数值)。1x1卷积一般只改变输出通道数，而不改 变输出的宽度和高度，becnk正则化，非线性函数作为激活函数，这样深层神 经网络表达能力就更加强大。k×k深度可分离卷积，becnk正则化，Coordinate 注意力机制通过位置信息对通道关系和长程依赖进行编码，激活函数，becnk 正则化，最后输出通道。
坐标信息嵌入流程为：
对于给定的输入X，首先使用尺寸为(H,1)与(1，W)的池化核沿着水 平坐标方向和竖直坐标方向对每个通道进行编码，高度为τ的第ω个通道的 输出定义表述如下：
Figure BDA0003584526990000082
对于宽度为φ的第ω个通道的输出定义表述如下：
Figure BDA0003584526990000083
上述两个变换沿着两个空间方向进行特征聚合，返回一对基于方向感知 的特征图。
Coordinate注意力机制模块解析SE通道注意力模块，给定输入特征，SE 通道注意力模块首先为每个通道独立采用全局平均池化，然后使用两个全连 接层以及非线性Sigmoid函数来生成通道权重，两个全连接层捕获非线性跨 通道交互，Coordinate注意力机制模块包括增强特征聚合、通道和空间注意 的结合，采用内核大小为k×k的2D卷积计算空间注意力，然后将其与通道 注意力结合起来。如图4，输入待检测图片至卷积神经网络，注意力图与特征 图进行双线性注意力叠加的水平全局平均池化和垂直全局平均池化，堆叠卷 积，正则化、非线性回归，卷积神经网络进行卷积激活，更新权重后输出。
Coordinate注意力生成流程为：
级联这两个特征图，然后使用一个共享的1x1卷积进行变换F1，生成的
Figure BDA0003584526990000091
Figure BDA0003584526990000092
是对空间信息在水平方向和竖直方向的中间特征图，这里的r表 示下采样比例:
η＝σ(F1([zτ，zω]))
接着，沿着空间维度将切分为两个单独的张量
Figure BDA0003584526990000093
Figure BDA0003584526990000094
再利用两个1x1卷积FT和Fφ将特征图ηT和ηφ变换到和输入X同样的通道 数，表示如下：
λτ＝ξ(Fτ(ητ))
Figure BDA0003584526990000095
最终对λT和λφ进行扩展，作为注意力权重，Coordinate注意力机制模 块最终的输出表述如下：
Figure BDA0003584526990000096
步骤2：将待检测图片输入步骤1中建立的卷积神经网络，分别获得多个 特征图与注意力图；
步骤3：请参阅图2，由步骤2中得到的注意力图指导进行数据增强，并 将增强后的数据输入基本网络；具体来说，对于每张用于训练的输入图像， 随机选择其由步骤2生成的众多注意力图之一Ωk，首先将其进行标准化为第i 个增强图
Figure BDA0003584526990000101
可以表示为：
Figure BDA0003584526990000102
这样保证每个增强图转为的矩阵中的每个数字都在[0,1]之间。接下来进 行基于注意力的掩盖。为了鼓励模型的注意力可以注意到图像上并不是那么 显著的部分，即鼓励注意力图代表区分对象的多个部分，将大于阈值θt∈ [0,1]的元素设置为0，其他设置为1，可获得注意力掩模Di。此过程可以进行 如下定义：
Figure BDA0003584526990000103
通过Di来掩盖图像第i部分区域以迫使模型学习非最显著的特征。
步骤4：请参阅图3，将步骤3获取到的注意力图与特征图进行双线性注 意力叠加的全局平均池化，以得到特征向量，而后拼接成为特征矩阵；如图6 所示，双线性注意力叠加的全局平均池化为将注意力图和特征图逐元素相加， 生成M个部分特征图，特征图通过函数σ(·)生成注意力特征向量αk，过程 进行如下描述：
zk＝Ωk+z，(k＝1，2，3......，M)
αk＝σ(zk)
其中Ω表示注意力图，Z表示特征图，各个注意力特征向量αk堆叠形成 部分特征矩阵Φ表述如下：
Figure BDA0003584526990000104
其中，函数γ(·)代表双线性注意力叠加的全局平均池化。
步骤5：构建网络的损失函数，包括分类损失与注意力正则化损失，分类 损失为普通的均方误差；注意力正则化损失目的是使步骤4中注意力特征向 量αk逐步逼近全局特征中心tk，损失函数Fι进行如下表示：
Figure BDA0003584526990000111
tk初始化为0，在训练过程中逐步更新，新的tk为原始tk加上(αk-tk)·∈， ∈为可以自行设置的更新率。
步骤6：设置网络的超参数并采用带有弱标签的数据集以进行训练，超参 数包括训练策略，学习率，批量的大小，优化方法，权重衰减参数，迭代次 数，动量系数，学习率更新策略，网络采用首先采用上述移动网络电视网络 的预训练权重进行训练，同时冻结上述移动网络电视网络的权重更新训练30 个时期，解冻权重后训练50个时期，期间采用随机梯度下降优化方式进行训 练，权重衰减设置为5e-4，动量衰减为0.9，初始学习率设置为0.01，学习 率更新策略为每训练2个epoch变为原来的0.9倍，批量设置为16；
步骤7：使用训练完成的网络执行缺陷检测任务，可得到缺陷类别，通过 CAM方法通过注意力图得到热力图，与原始图片进行叠加便可得到缺陷区域的 显示，对缺陷检测结果的可视化。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不 局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根 据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明 的保护范围之内。

Claims (10)

1.一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，包括如下步骤：
S1：建立基础卷积神经分类网络，并插入Coordinate注意力机制模块，然后在大型数据集图像网上进行预训练获得预训练权重，保存权重；
S2：将待检测图片输入步骤1中建立的卷积神经网络，分别获得多个特征图与注意力图；
S3：由S2中得到的注意力图指导进行数据增强，并将增强后的数据输入回基本网络；
S4：将S2获取到的注意力图与特征图进行双线性注意力叠加的全局平均池化，以得到特征向量，而后拼接成为特征矩阵；
S5：构建网络的损失函数，包括分类损失与注意力正则化损失，分类损失为普通的均方误差；
S6：设置网络的超参数并采用带有弱标签的数据集以进行训练；
S7：使用训练完成的网络执行缺陷检测任务，可得到缺陷类别。
2.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤1的Coordinate注意力机制通过位置信息对通道关系和长程依赖进行编码，其过程分为两个步骤：坐标信息嵌入和Coordinate注意力生成。
3.如权利要求2所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，坐标信息嵌入流程为：
对于给定的输入X，首先使用尺寸为(H,1)与(1，W)的池化核沿着水平坐标方向和竖直坐标方向对每个通道进行编码，高度为τ的第ω个通道的输出定义表述如下：
Figure FDA0003584526980000011
对于宽度为φ的第ω个通道的输出定义表述如下：
Figure FDA0003584526980000021
上述两个变换沿着两个空间方向进行特征聚合，返回一对基于方向感知的特征图。
4.如权利要求2所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，Coordinate注意力生成流程为：
级联这两个特征图，然后使用一个共享的1x1卷积进行变换F1，生成的
Figure FDA0003584526980000022
Figure FDA0003584526980000023
是对空间信息在水平方向和竖直方向的中间特征图，这里的r表示下采样比例:
η＝σ(F1([zτ，zω]))
接着，沿着空间维度将切分为两个单独的张量
Figure FDA0003584526980000024
Figure FDA0003584526980000025
再利用两个1x1卷积FT和Fφ将特征图ηT和ηφ变换到和输入X同样的通道数，表示如下：
λτ＝ξ(Fτ(ητ))
Figure FDA0003584526980000026
最终对λT和λφ进行扩展，作为注意力权重，Coordinate注意力机制模块最终的输出表述如下：
Figure FDA0003584526980000027
5.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤3中对于每张用于训练的输入图像，随机选择其由步骤2生成的众多注意力图之一Ωk，首先将其进行标准化为第i个增强图
Figure FDA0003584526980000028
可以表示为：
Figure FDA0003584526980000031
6.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤4中双线性注意力叠加的全局平均池化为将注意力图和特征图逐元素相加，生成M个部分特征图，特征图通过函数σ(·)生成注意力特征向量αk，过程进行如下描述：
zk＝Ωk+z，(k＝1，2，3......，M)
αk＝σ(zk)
其中Ω表示注意力图，Z表示特征图，各个注意力特征向量αk堆叠形成部分特征矩阵Φ表述如下：
Figure FDA0003584526980000032
其中，函数γ(·)代表双线性注意力叠加的全局平均池化。
7.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤5中注意力正则化损失目的是使步骤4中注意力特征向量αk逐步逼近全局特征中心tk，损失函数Fι进行如下表示：
Figure RE-FDA0003690489870000034
tk初始化为0，在训练过程中逐步更新，新的tk为原始tk加上(αk-tk)·∈，∈为可以自行设置的更新率。
8.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤6中超参数包括训练策略，学习率，批量的大小，优化方法，权重衰减参数，迭代次数，动量系数，学习率更新策略，网络采用首先采用上述移动网络电视网络的预训练权重进行训练，同时冻结上述移动网络电视网络的权重更新训练30个时期，解冻权重后训练50个时期，期间采用随机梯度下降优化方式进行训练。
9.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，Coordinate注意力机制模块解析SE通道注意力模块，给定输入特征，SE通道注意力模块首先为每个通道独立采用全局平均池化，然后使用两个全连接层以及非线性Sigmoid函数来生成通道权重，两个全连接层捕获非线性跨通道交互，Coordinate注意力机制模块包括增强特征聚合、通道和空间注意的结合，采用内核大小为k×k的2D卷积计算空间注意力，然后将其与通道注意力结合起来。
10.如权利要求1所述的一种基于AI深度学习算法的表面缺陷检测方法，其特征在于，步骤7中通过CAM方法通过注意力图得到热力图，与原始图片进行叠加便可得到缺陷区域的显示。
CN202210362561.0A 2022-04-07 2022-04-07 一种基于ai深度学习算法的表面缺陷检测方法 Pending CN114757904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362561.0A CN114757904A (zh) 2022-04-07 2022-04-07 一种基于ai深度学习算法的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362561.0A CN114757904A (zh) 2022-04-07 2022-04-07 一种基于ai深度学习算法的表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN114757904A true CN114757904A (zh) 2022-07-15

Family

ID=82329686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362561.0A Pending CN114757904A (zh) 2022-04-07 2022-04-07 一种基于ai深度学习算法的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114757904A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115496740A (zh) * 2022-10-10 2022-12-20 湖北华鑫光电有限公司 基于卷积神经网络的镜片缺陷检测方法及其系统
CN115561243A (zh) * 2022-09-30 2023-01-03 东莞市言科新能源有限公司 锂电池制备中极片质量监测系统及其方法
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561243A (zh) * 2022-09-30 2023-01-03 东莞市言科新能源有限公司 锂电池制备中极片质量监测系统及其方法
CN115496740A (zh) * 2022-10-10 2022-12-20 湖北华鑫光电有限公司 基于卷积神经网络的镜片缺陷检测方法及其系统
CN115496740B (zh) * 2022-10-10 2023-05-16 湖北华鑫光电有限公司 基于卷积神经网络的镜片缺陷检测方法及其系统
CN115880298A (zh) * 2023-03-02 2023-03-31 湖南大学 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN116721302B (zh) * 2023-08-10 2024-01-12 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法

Similar Documents

Publication Publication Date Title
CN112085735B (zh) 一种基于自适应锚框的铝材质图像缺陷检测方法
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN114757904A (zh) 一种基于ai深度学习算法的表面缺陷检测方法
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
CN106991388B (zh) 关键点定位方法
US20230206603A1 (en) High-precision point cloud completion method based on deep learning and device thereof
CN111161349A (zh) 物体姿态估计方法、装置与设备
CN110728219A (zh) 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110647802A (zh) 基于深度学习的遥感影像舰船目标检测方法
CN112750148A (zh) 一种基于孪生网络的多尺度目标感知跟踪方法
CN114663502A (zh) 物体姿态估计、图像处理方法及相关设备
CN115439694A (zh) 一种基于深度学习的高精度点云补全方法及装置
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
CN112597847A (zh) 人脸姿态估计方法、装置、电子设备和存储介质
CN116385660A (zh) 室内单视图场景语义重建方法及系统
CN116363308A (zh) 人体三维重建模型训练方法、人体三维重建方法和设备
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114022586A (zh) 一种基于对抗生成网络的缺陷图像生成方法
CN111368637B (zh) 一种基于多掩模卷积神经网络的搬运机器人识别目标方法
CN113160117A (zh) 一种自动驾驶场景下的三维点云目标检测方法
Lai et al. 3D semantic map construction system based on visual SLAM and CNNs
CN116977872A (zh) 一种CNN+Transformer遥感图像检测方法
CN115100136B (zh) 基于YOLOv4-tiny模型的工件类别与位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination