CN112465790A - 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 - Google Patents

基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 Download PDF

Info

Publication number
CN112465790A
CN112465790A CN202011411468.1A CN202011411468A CN112465790A CN 112465790 A CN112465790 A CN 112465790A CN 202011411468 A CN202011411468 A CN 202011411468A CN 112465790 A CN112465790 A CN 112465790A
Authority
CN
China
Prior art keywords
convolution
shallow
feature
deep
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011411468.1A
Other languages
English (en)
Inventor
孙美君
吕超章
王征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011411468.1A priority Critical patent/CN112465790A/zh
Publication of CN112465790A publication Critical patent/CN112465790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，包括：在编码模块中对主干特征进行卷积和池化操作，提取图像在不同尺度下的浅层特征图；在解码模块中通过上采样和卷积操作获取深层特征图；中间用四次拼接操作将浅层特征图同深层特征图融合在一起；三线性全局注意力模块的第一个分支通过线性操作将浅层特征图转为浅层注意力图，第二个分支通过压缩激活深层特征图获取其深层的特征权重，之后将深层的特征权重加权到浅层特征图上；决策网络模块中使用全局平均池化和全局最大池化处理解码模块的输出特征图，通过激活函数输出表面缺陷图像存在缺陷的概率，通过1x1卷积操作输出缺陷潜在位置的灰度图，用来可视化解释神经网络。

Description

基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
技术领域
本发明涉及工业缺陷检测领域，尤其涉及一种基于多尺度卷积和三线性全局注意力的 表面缺陷检测方法，在保证不降低模型性能的前提下，显著地减少样本标注成本，致力于 从弱监督学习标签中得到有效的缺陷物体的位置信息和形状信息。
背景技术
在工业化过程中，由于不可抗拒的影响因素，工业器件表面可能出现缺陷，因此，表 面缺陷检测是保证生产质量的一项基本任务，通常都是人工筛选，需要对工人花费大量时 间进行培训。而这种方法效率低下、主观性强、限制产品的生产效率。通常，传统的缺陷异常检测方法遵循相同的流程，针对特定的问题领域人工对图像特征进行设计并提取，但由于缺陷的多种多样，上述的传统机器视觉方法很难对缺陷特征完整的建模迁移，复用性不大，浪费大量的时间和人力成本。
而近年来，随着深度学习技术的复兴，许多优秀的卷积神经网络模型在过去几年中陆 续出现。深度学习在特征提取和检测分类上取得了非常好的结果，越来越多的学者和工程 人员开始将深度学习算法引入到缺陷检测领域中。与经典的机器学习方法相比，深度学习 算法能自动学习并挖掘出图像数据中具有代表性的特征，并已在表面缺陷控制中取得较高 的准确率。
但是已有的大多数深度学习方法具有一定的局限性：第一，多数深度学习的方法是一 种数据驱动的技术，往往需要大量的标注样本数据才能发挥作用。这是因为深度学习方法 为了保证得到的模型具有较好的性能，对数据集有所要求：一是用于训练和测试的数据集 要保持不同类别下的样本数据相差不大，满足独立同分布条件；二是要求训练样本数据集 要足够大，但在工业表面缺陷检测中这两个条件很难满足，采集和标记缺陷图像的成本较 高，而这导致采集到的缺陷图像数量非常有限，达不到现有神经网络方法训练的要求。 第二，目前基于深度学习的缺陷检测方法通常使用强监督的学习策略，如额外的物体边界 框或像素级标签来预测缺陷的位置，算法的效果在一定程度上取决于所提供的样本数量和 标注的质量。第三，现有的缺陷检测中，仅利用到了最深层的特征进行预测，并没有融合 浅层特征；第四，现有的缺陷检测往往都是在纹理背景重复性高的布匹图像上实验，并没 有在实际的工业图像中进行实验，从而忽略了工业图像中缺陷尺寸差异大、工业环境背景 复杂缺陷微小的问题，所以在工业应用中，往往是无法满足实际应用中的需要。
发明内容
本发明提供了一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，本发明 针对上述所提出的局限性，提出了一种弱监督的神经网络架构，在保证不降低模型性能的 前提下，显著的减少了样本的标注成本，能够较为精准的实现缺陷的自动检测，详见下文 描述：
一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，所述方法包括以下步 骤：
特征融合网络模块通过对原图经过两次下采样的操作分别得到浅层特征和深层特征， 之后对浅层和深层的特征映射合并，得到融合后的主干特征，解决网络下采样造成的信息 丢失的问题；
编解码网络模块中编码模块对主干特征进行卷积和池化操作，提取到图像在不同尺度 下的浅层特征图；在解码模块中会进行一系列上采样和卷积操作来获取深层特征图；中间 通过拼接操作将的浅层特征图同深层特征图融合在一起，共进行四次拼接操作；
三线性全局注意力模块共分为两个分支，第一个分支对浅层特征图通过线性操作转为 浅层注意力图，第二个分支对深层特征图获取其深层的特征权重，通过乘法操作将深层的 特征权重加权到浅层特征图上；
决策网络模块中使用全局平均池化和全局最大池化对解码模块的输出特征图进行处 理，并将结果拼接在一起，通过sigmoid激活函数输出表面缺陷图像存在缺陷的概率。
其中，所述特征融合网络模块包括：多尺度感受野模块，通过模拟人类视觉的感受野 从而增强其特征提取能力；
多尺度感受野卷积的左侧分支：使用1*1的卷积进行通道特征降维，修正非线性激活 函数Relu，提高卷积神经网络的局部感知区域，采用不同尺寸卷积核的卷积层构成多分支 并行结构，增加感受野大小，并将不同尺寸的卷积层输出进行拼接；
多尺度感受野卷积的右侧分支：使用残差结构，将左侧与右侧的输出按预设比例求和。
进一步地，所述三线性全局注意力模块用深层的语义信息指导浅层的特征，并对浅层 特征进行注意力操作，将浅层的卷积特征图转为注意力图；
所述三线性全局注意力模块分为两个分支，第一分支中，浅层输入卷积特征图 (c×h×w)之后对其进行reshape操作使其为XL(c×hw)，进行转置操作生成
Figure RE-GDA0002920672740000021
代 表浅层特征中各个通道之间的关系，将上述通道关系图与之前的特征图X再做一次整合即
Figure RE-GDA0002920672740000022
操作，再经过reshape操作后，便可得到浅层特征注意力图；
第二分支中，深层输入卷积特征图XH经过压缩阶段，对空间维度上进行特征压缩，之后进行激励阶段对特征通道进行建模其相关性，经过上述两次全连接的操作以及激活函数的操作便可得到深层特征的注意力图，如下式所示：
Attention(H)＝σ(F2(δ(F1(XH))))
式中σ表示ReLU激活函数；δ表示Sigmoid激活函数；
将深层特征的权重值通过乘法逐通道加权到已被增强的浅层特征图上。
本发明提供的技术方案的有益效果是：
1、考虑到在真实的工业生产环境中，缺陷图像采集成本非常高且标注数据较少的情 况下，本发明能够很好的适应少量的训练样本且标注成本较低，并使用批处理数据均衡策 略，减轻样本数据不均衡的问题；
2、考虑到现有的基于深度学习的缺陷检测通过使用强监督的学习策略，如额外的物 体边界框或像素级标签来预测缺陷的位置，本发明只使用图像级类别标注信息，无需使用 预先训练的权重，也不需要对图像数据增强操作，仅50％的缺陷图像实现精准的表面缺陷 图像检测；
3、本发明设计的用于小数据量的弱监督学习下的深度卷积神经网络架构，其结合了 多尺度感受野的卷积模块和三线性全局注意力机制，有效增强了缺陷图像中像素点之间的 差异，使得网络对图像中有判别性区域有较强的响应；
4、本发明在预测上，对表面缺陷进行了可视化的输出描述，使用图像级别类别标注 标签进行训练，可输出缺陷潜在位置的灰度图，用作分类结果的可视化解释。
附图说明
图1为弱监督网络模型的架构示意图；
图2为多尺度感受野卷积模块结构示意图；
图3为特征融合网络结构示意图；
图4为三线性全局注意力结构示意图；
图5为KolektorSDD表面缺陷数据集图像示意图；
图6为图像缺陷潜在位置可视化结果图；
图7为模型单张图片分类精度的检测时间示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详 细描述。
为了解决背景技术中存在的技术问题，本发明聚焦于小数据的弱监督的注意力网络。 一方面为了缓解数据集不足的问题,对编解码网络进行改进，使网络适用于逐像素的缺陷 定位任务,并提出多尺度感受野模块和三线性全局注意力模块，从图像级分类任务变为像 素级分类任务，且逐像素的定位结果可辅助最终的分类结果，也可用于分类结果的可视化 解释。另一方面，为了减少对标注数据的依赖，训练过程仅使用图像级别标签，标注成本 低，易于获取。但由于弱监督标签并不含有精准的位置信息，因此，本发明实施例主要致力于如何从弱监督学习中得到有效的缺陷物体的位置信息和形状信息。
实施例1
本发明实施例描述了一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法， 如图1所示。
整个网络由四个部分组成：特征融合网络模块、编解码网络模块、三线性全局注意力 模块以及最后的决策模块组成。其中第一特征融合网络模块将浅层和深层特征进行融合， 为编解码模块提供多层次的语义信息，其具有很强的捕捉局部细粒度特征的能力；第二编 解码网络模块复用卷积后相应尺度的特征实现语义信息的恢复；第三三线性全局注意力模 块通过自适应学习的方法来获取每个特征通道的重要程度，学习特征之间的相关性，根据 重要程度提升有用的特征并抑制对当前任务用处不大的特征。第四决策模块将全局平均池 化和全局最大池化提取的特征结果拼接在一起，并通过sigmoid激活函数输出表面缺陷图 像存在缺陷的概率。
1、特征融合网络模块
在第一特征融合网络模块中，针对缺陷图像中缺陷尺寸差异大的问题，例如有的缺陷 占了图片的小部分，而有的缺陷占了图片中的大部分位置，因此特征融合网络模块需要具 有较强的捕捉局部细粒度特征的能力，本发明实施例提出了一种新的多尺度感受野模块。 通过模拟人类视觉的感受野从而增强其特征提取能力，如图2所示。
其具体实现过程如下：图2左侧部分首先使用1*1的卷积进行通道特征降维，其不仅 可以减少通道的维度数从而降低计算量，还可以修正非线性激活函数Relu，提高了卷积神 经网络的局部感知区域，采用不同尺寸卷积核的卷积层构成多分支并行结构，增加感受野 大小，并将不同尺寸的卷积层输出进行拼接，通过融合不同的特征极大丰富了语义信息。 图2右侧使用残差结构，其可以很好的提高网络的性能，加速网络训练，最后将左侧与右 侧的输出按一定比例求和。
另一方面，为了给编解码网络模块提供多层次的语义信息，将浅层和深层特征进行融 合，特征融合模块的结构细节如图3所示。输入图像经过两层卷积和一层最大池化得到 Feature Level1，具体操作如下：利用3*3的卷积核(步长为1)来捕获高分辨率图像中的小目 标缺陷，在每个卷积层后都加入了归一化和非线性激活函数Relu，池化层采用2*2的内核， 其可以起到减少计算量以及图像分辨率，捕获图像局部信息差异变化的作用。之后Feature Level1经过多尺度卷积模块和最大池化得到Feature Level2，由于FeatureLevel1和Feature Level2为两个不同尺度的特征映射，因此在拼接操作之前需要采用一次上采样操作将 Feature Level1和Feature Level2缩放到同一尺度。
2、编解码网络模块
在第二编解码网络模块中，对传统的U型结构进行了改进，使其更轻量更准确，具体 操作如下：在编码网络中对特征融合网络生成的特征进行一系列的卷积池化操作，每一个卷积块操作由两个3*3卷积以及一个2*2的最大池化层所构成，其中在每个卷积后面会紧跟非线性激活函数Relu，共进行四次下采样的操作，在下采样操作中图像的空间分辨率逐渐减少，特征维度逐渐增大，编码网络层次式学习到目标特征，编码网络中学到的特征中浅层特征具有更多的空间信息，包含边缘和位置信息，而深层特征包含更多的语义类别信息。在编码网络的最后一个卷积层加入三线性全局注意力模块，对特征进行压缩激活处理提高对有效特征的利用能力，之后再将特征送入解码网络中。
解码网络采用了与U-Net相似的跳跃连接方式，对编码网络学习的特征进行空间分辨 率的恢复，特征经过解码网络的上采样操作之后会与编码网络对应维度的特征进行拼接操 作，重复这个过程从而形成一个U型结构。该结构使得解码器能够学习到在编码器中丢 失的相关特征，并弥补解码过程中损失的空间信息等，之后再添加两个3*3的卷积层，增 强解码器的学习能力，使其学习到图像中具有判别性区域的特征。
3、三线性全局注意力模块
在第三三线性全局注意力模块中，针对之前的注意力机制工作中存在以下：计算量大、 未充分利用全局上下文信息，需手动设计pooling等复杂操作的问题，本发明实施例提出 了一种三线性全局注意力模块，如图4所示。核心思想是用深层的语义信息来指导浅层的 特征，并对浅层特征也进行了注意力操作，将浅层的卷积特征图转为注意力图。
其中，三线性全局注意力模块分为两个分支，第一个分支对浅层特征进行操作，而第 二分支为深层特征操作，用于将全局上下文信息作为浅层特征的指导,从而实现类别的定 位细节，具体操作如下：
在第一分支中，浅层输入卷积特征图(c×h×w)之后对其进行reshape操作使其为XL (c×hw)，然后进行转置操作生成
Figure RE-GDA0002920672740000061
而
Figure RE-GDA0002920672740000062
可代表浅层特征中各个通道之间的关系，然后将上述的通道关系图与之前的特征图X再做一次整合即
Figure RE-GDA0002920672740000063
操作，之后再经过reshape操作后，便可得到浅层特征注意力图。通过上述该分支可以方便快速的将浅层特征图转为注意力图，而这起到了对浅层特征细节部分增强的目的具体操作如式(1)所示：
Attention(L)＝R(N(N(XL·XL T)·XL)) (1)
而在第二分支中，深层输入卷积特征图XH会首先经过压缩阶段，对空间维度上进行 特征压缩，之后进行激励阶段对特征通道进行建模其相关性，经过上述两次全连接的操作 以及激活函数的操作便可得到深层特征的注意力图，具体操作如式(2)所示：
Attention(H)＝σ(F2(δ(F1(XH)))) (2)
式中σ表示ReLU激活函数；δ表示Sigmoid激活函数。
在最后的重分配中，将富含语义信息的深层特征来指引对浅层特征进行选择，即将深 层特征的权重值通过乘法操作逐通道加权到已被增强浅层特征图上，
具体操作如式(3)所示：
Figure BDA0002816692470000064
4、决策模块
决策模块的输入是来自编解码网络的输出，其主要由1*1卷积、全局平均池化和全局 最大池化所组成，具体操作如下：解码网络对特征进行空间分辨率恢复后，便得到所需的 分割输出图，其分辨率大小同输入图像一致，其中一条分支在分割输出图后添加一个1*1 的卷积模块，对其进行降维使得网络输出缺陷潜在位置的灰度图，用作分类结果的可视化 解释。另一条分支上对分割输出图进行全局最大池化和全局平均池化运算，替代了CNN中的传统全连接层，通过全局最大池化运算可以增强模型的平移不变性以提高模型的预测能力。
与此全局平均池化运算赋予了每个通道实际的内在意义，在网络结构上正则化防止过 拟合，之后将上述的输出结果拼接在一起，产生6个输出神经元。最后这些神经元与1*1 卷积线性权值组合成最终输出的神经元，并通过Sigmoid激活函数输出表面缺陷图像中存 在缺陷的概率。
实施例2
下面结合具体的实验对实施例1中的方案进行可行性验证，详见下文描述：
1、实验设置
数据集及评价指标：
(1)KolektorSDD数据集
用于本次训练和评估KolektorSDD表面缺陷数据集是由Kolektor Group(http://www.vicos.si/Downloads/KolektorSDD)提供并注释的电子转向器的表面裂纹图像，数 据集在工业环境下采集，分辨率为1408*512像素，如图5所示。更具体来说，该数据集是由50个有缺陷的电子转向器样本构成，每个转向器有多达8个表面这总共产生了399 张图片，其中52张为清晰可见的缺陷，并作为正样本，其余347张图片为无缺陷的负样 本，训练集中正样本数目为26张，负样本为224张；测试集中正样本数目为26张，负样 本为123张，图中的第一行为包含正样本和负样本的KolektorSDD数据集，第二为 KolektorSDD图像的像素级标注标签。
(2)实验细节
所提出的SDD-Net网络架构使用Adam优化器在KoletorSDD数据集上进行训练，学习率大小设置为0.0001，一阶动量项0.5，二阶动量项0.999，迭代轮数为300轮。由于 图像大小较大以及GPU显存限制，在每次迭代过程仅使用单张图像，即批处理大小设置 为1。此外非缺陷图像的数量是缺陷图像数量的8倍，为了确保网络训练过程中的有缺陷 图像和无缺陷图像数量均衡，采取批处理数据均衡策略。具体而言，在训练过程的每次 偶数迭代轮数中读取有缺陷的图像，在每次奇数迭代轮数中读取无缺陷的图像，该策略能 够很好的分配缺陷图像和非缺陷图像，确保网络以恒定速率来观察缺陷图像和非缺陷图像， 减轻了工业缺陷检测任务中样本存在不均衡的问题。本发明实施例提出的SDD-Net网络框 架实现了缺陷位置和缺陷存在概率的同步预测，该网络是使用Facebook人工智能研究实验 室开发的Pytorch机器学习人工智能框搭建的，在个人服务器上进行模型训练和测试，服 务器配置了Ubuntu16.04的操作系统，4核AMD Ryzen 5 1500X CPU和11G Nvidia GetForce GTX1080Ti GPU驱动程序。
(3)实验评估指标
将表面缺陷检测作为图像二分类问题进行研究，即将图像分为两类：有缺陷的图像 和无缺陷的图像，SDD-Net的可视化输出结果仅用作解释网络和定位缺陷位置，本次实验评估选取精准率、召回率、F-分数和准确率，具体数学公式所示：
Figure BDA0002816692470000081
Figure BDA0002816692470000082
Figure BDA0002816692470000083
Figure BDA0002816692470000084
在本次实验中，β＝1即F1分数。式中：TP表示正确分类的正类别数；FP表示错误 分类的正类别数；TN表示正确分类的负类别数；FN表示错误分类的负类别数。在本实验 中，正类别是有缺陷的图像，负类别是无缺陷的图像。
2、训练结果评价
为评估所提出的SDD-Net网络的有效性，本实验和多种网络进行了分类精度的对比， 其中包括：ResNet101、SE-ResNet101、SegNet、U-Net、Deeplabv3+、Seg and decnetwork 这些卷积神经网络。
为了保证实验结果只体现网络结构的差异而不受其它影响，对其中的SegNet、U-Net、 DeepLabv3+分割网络添加分类模块，本研究进行全面的精度评价，包括：错误分类的正类 别数(FP)，错误分类的负类别数(FN)，精准率(Precision)，召回率(Recall)，准确度(AUC)， F1评分(F-score)，总体精度(Acc)，参数量(Million Params)。
表1将本发明实例所提出的方法与其它的常规方法进行了比较，本发明实施例提出 的SDD-Net具有很好的分类性能，对KoletorSDD数据集的分类精度达到了99.33％，且其参数量少，网络收敛速度快。相比与分类网络ResNet101，由于分类网络的连续卷积和池化，在全连接层之前的特征并不能很好的描述小样本数据集中的微小缺陷，分类效果并不是很好。SE-ResNet101参考ResNet101的结构，加入了特征压缩激活模块，分类性能相比ResNet101有了一定程度的提升，证明特征激活模块在小样本数据集缺陷提取的问题上有效提升了模型能力，但其精准率过低仅68.57％，之后将经典的分割网络SegNet、U-Net、DeepLabv3+进行实验对比，在分割网络的输出后添加决策网络模块，实现最终的类别预测。其中DeepLabv3+性能最佳，在召回率为100％的情况下，平均准确率为97.99％，而Tabernik等人提出的强监督的两级网络结构Seg and dec network，其首先使用像素级标签对分割网 络进行训练，之后使用图像级标签对分类网络训练，平均准确率达99.33％，然而这种方法 需要获取像素级标签，耗费大量的时间和人工精力。
表1网络在KolektorSDD测试数据集上的精度评价对比
Figure BDA0002816692470000091
表2 SDD-Net模型拆分实验
Figure BDA0002816692470000092
表3模型的训练参数和平均精度的对比
Figure BDA0002816692470000093
Figure BDA0002816692470000101
本发明实例提出的SDD-Net在训练样本较少的情况下仅需要图像级的标签就能达到 良好的性能，其通过将不同卷积核大小的卷积组合成新特征，在解码网络中复用编码网络 中相应尺度的特征恢复低级视觉信息，并引入三线性全局注意力模块，其有效增强了缺陷像素和非缺陷像素的差异，使网络可以很好的捕获小样本数据集下的异常区域。
为了验证多尺度卷积模块和三级全局注意力模块对网络整体性能的贡献，本发明实施 例对SDD-Net模型进行了拆分，分别验证了特征融合网络和三级全局注意力模型在模型中 起到的作用，测试结果如上述表2所示。实验结果表明，特征融合网络和三级全局注意力 机制加入之后，模型的性能分别有了一定程度上的提升。
如图6所示为图像缺陷潜在位置可视化结果图，这里仅用作可视化结果的视觉解释， 其中(a)(d)是原始图像，(b)(e)是像素级标注标签，(c)(f)是本文SDD-Net网络输出缺陷潜在 位置灰度图。从图6可以清楚的观察到本方法在仅使用图像级标签的前提下可以很好的聚 焦到输入图像中的异常区域，从而有效地区分缺陷样本。此外本方法提出的SDD-Net网络 在模型参数还优于之前的方法，如图7及表3所示为模型在Nvidia GetForce GTX1080Ti 机器上实验获得的单张图片分类精度的检测时间，从图7中可以看到，与SegNet，U-Net， DeepLabv3+和Seg and dec方法相比，本发明具有更快的速度以及更好的平均精度，其使 用3.54M参数量实现，仅是U-Net的参数量的一半，其检测单张图像为30毫秒。
总的来说，本发明实施例采用基于多尺度卷积和三线性全局注意力的深度卷积神经网 络架构来预测表面缺陷检测，在小样本的电机转向器表面裂纹数据集上进行了验证，仅使 用图像级标签便可同时预测缺陷的位置和概率，获得优异的检测性能。可将网络用于训练 识别其它材料(如钢或玻璃)中的缺陷，使其在工业实际应用中发挥价值。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要 能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号 仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，其特征在于，所述方法包括以下步骤：
特征融合网络模块通过对原图经过两次下采样的操作分别得到浅层特征和深层特征，之后对浅层和深层的特征映射合并，得到融合后的主干特征，解决网络下采样造成的信息丢失的问题；
编解码网络模块中编码模块对主干特征进行卷积和池化操作，提取到图像在不同尺度下的浅层特征图；在解码模块中会进行一系列上采样和卷积操作来获取深层特征图；中间通过拼接操作将的浅层特征图同深层特征图融合在一起，共进行四次拼接操作；
三线性全局注意力模块共分为两个分支，第一个分支对浅层特征图通过线性操作转为浅层注意力图，第二个分支对深层特征图获取其深层的特征权重，通过乘法操作将深层的特征权重加权到浅层特征图上；
决策网络模块中使用全局平均池化和全局最大池化对解码模块的输出特征图进行处理，并将结果拼接在一起，通过sigmoid激活函数输出表面缺陷图像存在缺陷的概率。
2.根据权利要求1所述的一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，其特征在于，所述特征融合网络模块包括：多尺度感受野模块，通过模拟人类视觉的感受野从而增强其特征提取能力；
多尺度感受野卷积的左侧分支：使用1*1的卷积进行通道特征降维，修正非线性激活函数Relu，提高卷积神经网络的局部感知区域，采用不同尺寸卷积核的卷积层构成多分支并行结构，增加感受野大小，并将不同尺寸的卷积层输出进行拼接；
多尺度感受野卷积的右侧分支：使用残差结构，将左侧与右侧的输出按预设比例求和。
3.根据权利要求1所述的一种基于多尺度卷积和三线性全局注意力的表面缺陷检测方法，其特征在于，所述三线性全局注意力模块用深层的语义信息指导浅层的特征，并对浅层特征进行注意力操作，将浅层的卷积特征图转为注意力图；
所述三线性全局注意力模块分为两个分支，第一分支中，浅层输入卷积特征图(c×h×w)之后对其进行reshape操作使其为XL(c×hw)，进行转置操作生成
Figure RE-FDA0002920672730000011
Figure RE-FDA0002920672730000012
代表浅层特征中各个通道之间的关系，将上述通道关系图与之前的特征图X再做一次整合即
Figure RE-FDA0002920672730000013
操作，再经过reshape操作后，便可得到浅层特征注意力图；
第二分支中，深层输入卷积特征图XH经过压缩阶段，对空间维度上进行特征压缩，之后进行激励阶段对特征通道进行建模其相关性，经过上述两次全连接的操作以及激活函数的操作便可得到深层特征的注意力图，如下式所示：
Attention(H)＝σ(F2(δ(F1(XH))))
式中σ表示ReLU激活函数；δ表示Sigmoid激活函数；
将深层特征的权重值通过乘法逐通道加权到已被增强的浅层特征图上。
CN202011411468.1A 2020-12-03 2020-12-03 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法 Pending CN112465790A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011411468.1A CN112465790A (zh) 2020-12-03 2020-12-03 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011411468.1A CN112465790A (zh) 2020-12-03 2020-12-03 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法

Publications (1)

Publication Number Publication Date
CN112465790A true CN112465790A (zh) 2021-03-09

Family

ID=74805581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011411468.1A Pending CN112465790A (zh) 2020-12-03 2020-12-03 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112465790A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269209A (zh) * 2021-06-30 2021-08-17 山东建筑大学 一种图像识别方法、系统、介质及电子设备
CN113344847A (zh) * 2021-04-21 2021-09-03 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113392915A (zh) * 2021-06-23 2021-09-14 宁波聚华光学科技有限公司 一种基于深度学习的工业零件缺陷检测方法
CN113516640A (zh) * 2021-07-05 2021-10-19 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113628179A (zh) * 2021-07-30 2021-11-09 厦门大学 一种pcb表面缺陷实时检测方法、装置及可读介质
CN113658122A (zh) * 2021-08-09 2021-11-16 深圳市欢太科技有限公司 图像质量评价方法、装置、存储介质与电子设备
CN113902901A (zh) * 2021-09-30 2022-01-07 北京工业大学 一种基于轻量化检测的物体分离方法与系统
CN113989267A (zh) * 2021-11-12 2022-01-28 河北工业大学 基于轻量级神经网络的电池缺陷检测方法
CN114022049A (zh) * 2021-12-10 2022-02-08 萍乡市圣迈互联网科技有限公司 一种基于云计算的智慧业务信息风险处理方法及系统
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN114187248A (zh) * 2021-12-01 2022-03-15 胜斗士(上海)科技技术发展有限公司 食品品质检测方法及装置、电子设备和存储介质
CN114332047A (zh) * 2021-12-31 2022-04-12 华中科技大学 一种表面缺陷检测模型的构建方法及其应用
CN114332849A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 一种农作物生长状态联合监测方法、装置及存储介质
CN114723660A (zh) * 2022-03-01 2022-07-08 华中科技大学 一种布匹缺陷检测方法及系统
CN114897785A (zh) * 2022-04-14 2022-08-12 大连理工大学 缺陷检测中联合全局和局部的单视角ct重建方法
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115310486A (zh) * 2022-08-09 2022-11-08 重庆大学 焊接质量智能检测方法
CN115578565A (zh) * 2022-11-09 2023-01-06 北京矩视智能科技有限公司 注意力尺度感知引导的轻量化U-net方法、装置及存储介质
TWI800230B (zh) * 2022-01-20 2023-04-21 中國鋼鐵股份有限公司 研磨區域偵測系統
CN116612076A (zh) * 2023-04-28 2023-08-18 成都瑞贝英特信息技术有限公司 基于联合孪生神经网络的机舱微小划痕检测方法
WO2023211248A1 (en) * 2022-04-28 2023-11-02 Samsung Electronics Co., Ltd. Method and electronic device for determining optimal global attention in deep learning model
CN117392134A (zh) * 2023-12-12 2024-01-12 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN118115729A (zh) * 2024-04-26 2024-05-31 齐鲁工业大学(山东省科学院) 多层次多尺度特征交互的图像伪造区域识别方法及系统
CN118506553A (zh) * 2024-07-17 2024-08-16 西华大学 AIoT异常识别方法、灾害预警系统和道路安全系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985317A (zh) * 2018-05-25 2018-12-11 西安电子科技大学 一种基于可分离卷积和注意力机制的图像分类方法
CN109872300A (zh) * 2018-12-17 2019-06-11 南京工大数控科技有限公司 一种摩擦片外观缺陷的视觉显著性检测方法
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法
US20200118263A1 (en) * 2017-05-22 2020-04-16 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200118263A1 (en) * 2017-05-22 2020-04-16 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
CN108985317A (zh) * 2018-05-25 2018-12-11 西安电子科技大学 一种基于可分离卷积和注意力机制的图像分类方法
CN109872300A (zh) * 2018-12-17 2019-06-11 南京工大数控科技有限公司 一种摩擦片外观缺陷的视觉显著性检测方法
CN109886925A (zh) * 2019-01-19 2019-06-14 天津大学 一种主动学习与深度学习相结合的铝材表面缺陷检测方法
CN111612751A (zh) * 2020-05-13 2020-09-01 河北工业大学 基于嵌入分组注意力模块的Tiny-yolov3网络的锂电池缺陷检测方法
CN111627012A (zh) * 2020-05-28 2020-09-04 华北电力大学（保定） 一种基于特征融合的深度神经网络表面缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANCHAO LI等: "Pyramid Attention Network for Semantic Segmentation", 《HTTPS://ARXIV.ORG/ABS/1805.10180》 *
JINGDA MA等: "Fine-grained Image Recognition Based on Attention Map and Image Sampling", 《2020 12TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS (IHMSC)》 *
ZIJIAN ZHANG等: "Reliable and Robust Weakly Supervised Attention Networks for Surface Defect Detection", 《2020 7TH INTERNATIONAL CONFERENCE ON DEPENDABLE SYSTEMS AND THEIR APPLICATIONS (DSA)》 *

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344847A (zh) * 2021-04-21 2021-09-03 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113344847B (zh) * 2021-04-21 2023-10-31 安徽工业大学 一种基于深度学习的长尾夹缺陷检测方法及系统
CN113392915A (zh) * 2021-06-23 2021-09-14 宁波聚华光学科技有限公司 一种基于深度学习的工业零件缺陷检测方法
CN113269209B (zh) * 2021-06-30 2022-06-07 山东建筑大学 一种图像识别方法、系统、介质及电子设备
CN113269209A (zh) * 2021-06-30 2021-08-17 山东建筑大学 一种图像识别方法、系统、介质及电子设备
CN113516640A (zh) * 2021-07-05 2021-10-19 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113516640B (zh) * 2021-07-05 2022-03-18 首都师范大学 基于分类分支的ct图像细小裂缝分割装置和方法
CN113628179A (zh) * 2021-07-30 2021-11-09 厦门大学 一种pcb表面缺陷实时检测方法、装置及可读介质
CN113628179B (zh) * 2021-07-30 2023-11-24 厦门大学 一种pcb表面缺陷实时检测方法、装置及可读介质
CN113658122A (zh) * 2021-08-09 2021-11-16 深圳市欢太科技有限公司 图像质量评价方法、装置、存储介质与电子设备
CN113902901A (zh) * 2021-09-30 2022-01-07 北京工业大学 一种基于轻量化检测的物体分离方法与系统
CN113902901B (zh) * 2021-09-30 2024-04-26 北京工业大学 一种基于轻量化检测的物体分离方法与系统
CN113989267A (zh) * 2021-11-12 2022-01-28 河北工业大学 基于轻量级神经网络的电池缺陷检测方法
CN113989267B (zh) * 2021-11-12 2024-05-14 河北工业大学 基于轻量级神经网络的电池缺陷检测方法
CN114187248A (zh) * 2021-12-01 2022-03-15 胜斗士(上海)科技技术发展有限公司 食品品质检测方法及装置、电子设备和存储介质
CN114170174A (zh) * 2021-12-02 2022-03-11 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN114170174B (zh) * 2021-12-02 2024-01-23 沈阳工业大学 基于RGB-D图像的CLANet钢轨表面缺陷检测系统及方法
CN114022049B (zh) * 2021-12-10 2022-07-22 佛山市蜂王人力资源有限公司 一种基于云计算的智慧业务信息风险处理方法及系统
CN114022049A (zh) * 2021-12-10 2022-02-08 萍乡市圣迈互联网科技有限公司 一种基于云计算的智慧业务信息风险处理方法及系统
CN114332047A (zh) * 2021-12-31 2022-04-12 华中科技大学 一种表面缺陷检测模型的构建方法及其应用
CN114332047B (zh) * 2021-12-31 2024-09-06 华中科技大学 一种表面缺陷检测模型的构建方法及其应用
TWI800230B (zh) * 2022-01-20 2023-04-21 中國鋼鐵股份有限公司 研磨區域偵測系統
CN114723660A (zh) * 2022-03-01 2022-07-08 华中科技大学 一种布匹缺陷检测方法及系统
CN114332849A (zh) * 2022-03-16 2022-04-12 科大天工智能装备技术（天津）有限公司 一种农作物生长状态联合监测方法、装置及存储介质
CN114332849B (zh) * 2022-03-16 2022-08-16 科大天工智能装备技术（天津）有限公司 一种农作物生长状态联合监测方法、装置及存储介质
CN114897785A (zh) * 2022-04-14 2022-08-12 大连理工大学 缺陷检测中联合全局和局部的单视角ct重建方法
CN114897785B (zh) * 2022-04-14 2024-07-26 大连理工大学 缺陷检测中联合全局和局部的单视角ct重建方法
WO2023211248A1 (en) * 2022-04-28 2023-11-02 Samsung Electronics Co., Ltd. Method and electronic device for determining optimal global attention in deep learning model
CN115147375A (zh) * 2022-07-04 2022-10-04 河海大学 基于多尺度注意力的混凝土表面缺陷特征检测方法
CN115310486B (zh) * 2022-08-09 2023-09-26 重庆大学 焊接质量智能检测方法
CN115310486A (zh) * 2022-08-09 2022-11-08 重庆大学 焊接质量智能检测方法
CN115578565B (zh) * 2022-11-09 2023-04-14 北京矩视智能科技有限公司 注意力尺度感知引导的轻量化U-net方法、装置及存储介质
CN115578565A (zh) * 2022-11-09 2023-01-06 北京矩视智能科技有限公司 注意力尺度感知引导的轻量化U-net方法、装置及存储介质
CN116612076B (zh) * 2023-04-28 2024-01-30 成都瑞贝英特信息技术有限公司 基于联合孪生神经网络的机舱微小划痕检测方法
CN116612076A (zh) * 2023-04-28 2023-08-18 成都瑞贝英特信息技术有限公司 基于联合孪生神经网络的机舱微小划痕检测方法
CN117392134B (zh) * 2023-12-12 2024-02-27 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117392134A (zh) * 2023-12-12 2024-01-12 苏州矩度电子科技有限公司 一种用于高速点胶的在线视觉检测系统
CN117495884A (zh) * 2024-01-02 2024-02-02 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117495884B (zh) * 2024-01-02 2024-03-22 湖北工业大学 一种钢铁表面缺陷分割方法、装置、电子设备及存储介质
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN117593304B (zh) * 2024-01-19 2024-04-26 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN118115729A (zh) * 2024-04-26 2024-05-31 齐鲁工业大学(山东省科学院) 多层次多尺度特征交互的图像伪造区域识别方法及系统
CN118115729B (zh) * 2024-04-26 2024-07-26 齐鲁工业大学(山东省科学院) 多层次多尺度特征交互的图像伪造区域识别方法及系统
CN118506553A (zh) * 2024-07-17 2024-08-16 西华大学 AIoT异常识别方法、灾害预警系统和道路安全系统

Similar Documents

Publication Publication Date Title
CN112465790A (zh) 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN112183203B (zh) 一种基于多尺度像素特征融合的实时交通标志检测方法
CN115294038A (zh) 一种基于联合优化与混合注意力特征融合的缺陷检测方法
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN113642505B (zh) 一种基于特征金字塔的人脸表情识别方法及装置
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN112037239B (zh) 基于多层次显式关系选择的文本指导图像分割方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统
Ma et al. A hierarchical attention detector for bearing surface defect detection
CN112560668B (zh) 一种基于场景先验知识的人体行为识别方法
CN118115835A (zh) 导光板缺陷小样本数据扩充方法、系统、设备及存储介质
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
Castillo et al. Object detection in digital documents based on machine learning algorithms
CN116721078A (zh) 一种基于深度学习的带钢表面缺陷检测方法及装置
Kousalya et al. Prediction of Best Optimizer for Facial Expression Detection using Convolutional Neural Network
CN113344005B (zh) 一种基于优化小尺度特征的图像边缘检测方法
CN114550246A (zh) 一种基于智能视觉的识别疲劳状态的监测方法
CN113436115A (zh) 一种基于深度无监督学习的图像阴影检测方法
Yi A road crack detection method based on improved U-Net
CN116912504A (zh) 一种基于深度学习的快速烟叶前景提取方法
CN115661456A (zh) 一种基于高分辨率网络的舌图像分割算法
CN118247730A (zh) 基于改进YOLOv8的智慧教室学生课堂行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309

RJ01 Rejection of invention patent application after publication