CN113673594A - 一种基于深度学习网络的瑕疵点识别方法 - Google Patents

一种基于深度学习网络的瑕疵点识别方法 Download PDF

Info

Publication number
CN113673594A
CN113673594A CN202110947457.3A CN202110947457A CN113673594A CN 113673594 A CN113673594 A CN 113673594A CN 202110947457 A CN202110947457 A CN 202110947457A CN 113673594 A CN113673594 A CN 113673594A
Authority
CN
China
Prior art keywords
branch
transform
attention
encoder
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110947457.3A
Other languages
English (en)
Other versions
CN113673594B (zh
Inventor
王慧燕
姜欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xiaopeng Technology Co ltd
Zhejiang Gongshang University
Original Assignee
Zhejiang Xiaopeng Technology Co ltd
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xiaopeng Technology Co ltd, Zhejiang Gongshang University filed Critical Zhejiang Xiaopeng Technology Co ltd
Priority to CN202110947457.3A priority Critical patent/CN113673594B/zh
Priority to PCT/CN2021/115494 priority patent/WO2023019636A1/zh
Publication of CN113673594A publication Critical patent/CN113673594A/zh
Priority to US17/810,608 priority patent/US11615523B2/en
Application granted granted Critical
Publication of CN113673594B publication Critical patent/CN113673594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习网络的瑕疵点识别方法。本发明首先将瑕疵的图片通过Resnet‑50特征提取网络，提取瑕疵的特征，然后通过改进的transformer网络对瑕疵进行检测，识别出瑕疵。本发明通过对DETR网络的transformer网络模块进行改进，能够提升速度的同时，将瑕疵能够更精确地检测出来。

Description

一种基于深度学习网络的瑕疵点识别方法
技术领域
本发明属于计算机视觉中的图像处理和目标检测领域，涉及一种基于深度学习网络来检测瑕疵的识别方法。
背景技术
传统的目标检测是通过生成建议框，接着提取目标框内的特征、最后进行分类的技术。传统的目标检测算法在速度和精度上都存在瓶颈，随着深度学习神经网络算法的快速发展，视频和图像中的目标检测任务也得到了快速发展。
瑕疵点检测是工业界一项很重要的工作，目前主要依靠工人手工进行瑕疵挑选，非常耗时，人力成本高，同时要求工人要有丰富的经验。现有基于深度学习的目标检测可以分成如下两类：one-stage和two-stage的目标检测。上述两种方向的算法，前者具有较快的速度，而后者能够有较好的精度。但上述两种方向上的算法，在对小物体的检测均不能达到一个理想的效果，本发明在深度学习one-stage模型的基础上，对已有算法进行改进，提出一种适用于瑕疵点的检测方法，提升对厘米级别的瑕疵小目标的检出率，同时提升检测速度。
发明内容
本发明针对现有技术的不足，提供了一种基于深度学习网络的瑕疵点识别方法。
本发明解决技术问题所采取的技术方案为：
本发明包括以下步骤：
步骤1、拍摄包含瑕疵点的视频图像序列，将其输入至特征提取分支进行特征提取。
步骤2、将特征提取分支输出的特征图经过展平，通过添加位置信息分支加入位置编码信息，输入至transformer分支中的编码器transformer-encoder。
所述的编码器transformer-encoder中的自注意力层Self-Attention进行了改进，具体是：在自注意力层Self-Attention中增加了一个用于增强局部性且基于位置的高斯分布Attention分支。
同时还对输入至编码器transformer-encoder的Key和Value矩阵进行卷积降维，用于提升自注意力层Self-Attention的计算速度。
步骤4、将编码器transformer-encoder的最后一层输出，作为transformer分支中解码器transformer-decoder的输入，并把可学习的矩阵object queries输入到解码器transformer-decoder中。
步骤5、将解码器transformer decoder的结果输入到前馈神经网络预测分支，分别得到分类分支和回归分支，其中分类分支通过全连接进行分类，回归分支通过多层感知机进行边界框的回归。
步骤6、对网络进行训练，训练时，分类损失为交叉熵损失，回归损失包括Liou损失和L1损失；
所述网络由特征提取分支、添加位置信息分支、transformer分支和前馈神经网络预测分支组成。
步骤7、使用训练好的网络进行前向推理时，计算模型预测图像中的瑕疵点。
本发明的有益效果：
本发明在encoder(编码器)中计算Self-Attention(自注意力)层时，并行地计算一个增强局部性的基于位置的高斯分布Attention，然后叠加到本身的Attention上，从而能够让Self-Attention(自注意力)层增加局部性，能够更好地学习到厘米级别的瑕疵的特征，更加适合对瑕疵小目标的检测。在只增加一个矩阵的加法，不影响速度的情况下，提高了对瑕疵小目标的检测的精确度。
考虑到影响transformer分支速度的主要原因是Attention公式计算复杂，为了减少计算复杂度，本发明采用3*3的卷积核，步长为2的卷积，减少K、V矩阵中的参数；通过transformer分支后，输出到前馈神经网络预测分支中，同时进行分类和预测框的回归，本发明无需其他辅助设备即可实现高精度的瑕疵检测。
附图说明
为了更清楚的展示本发明实施例中的网络结构以及训练和前向推理过程，下面将对实施例中所需要使用的附图做以简单地介绍。
图1为整体网络结构图；
图2为transformer分支结构图；
图3为特征图转化矩阵和Self-Attention(自注意力)层结构图；
图4为本发明方法进行训练的流程图；
图5为本发明方法进行前向推理的流程图。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
本发明提出了一种基于深度学习网络的瑕疵识别方法。其网络框架结构如图1所示，主要包含四个分支，分别为特征提取分支(Resnet-50)，添加位置信息分支(Positionalencoding)，transformer分支(transformer encoder和decoder)，前馈神经网络预测分支(FNN)。
网络训练过程如图4所示。其简要步骤如下：一、通过特征提取网络获得瑕疵的特征图；二、对提取的特征图展平后加入位置编码；三、通过transformer分支改进的编码器encoder；四、通过transformer分支的解码器decoder；五、输入到前馈神经网络预测分支(FNN)进行回归和分类；六、计算分类交叉熵损失LClass、L1损失L1和交并比损失Liou，最后计算匈牙利损失函数；七、反向传播更新网络参数。
网络前向推理过程如图5所示。其简要步骤如下：一、通过特征提取网络获得瑕疵的特征图；二、对提取的特征图展平加入位置编码；三、通过transformer分支改进的编码器encoder；四、通过transformer分支的解码器decoder；五、输入到前馈神经网络预测分支(FNN)进行回归和分类；六、使用训练好的网络进行前向推理时，预测出瑕疵位置以及瑕疵的类别。
实施例：
一种基于深度学习网络的瑕疵识别方法，包括如下步骤：
步骤1、拍摄包含瑕疵点的视频图像序列，将其输入Resnet-50网络进行特征提取，具体的：
首先将图片输入到Resnet-50特征提取网络，然后得到特征图为7*7*2048，再通过一个卷积核大小为1，步长为1，卷积个数为256的卷积，降低特征图的通道数，通过卷积后的特征图为7*7*256。
步骤2、将输出得到的特征图经过展平，加入位置编码信息，放入到transformer-encoder(编码器)中，具体的：
展平操作如下：将特征图由7*7*256的形状变成49*256，即把H*W*C变成(H*W)*C，将高和宽压缩成同一个维度，通过展平后的特征图，记作X；
位置编码操作如下：将特征图49*256中的256维度分为x方向和y反向，其中前128维是x方向的，后128维是y方向的。先对x方向进行位置编码，其中位置编码函数如下，把公式中的d取256，k为当前的位置带入，x为特征图中对应的值，如果是偶数则使用sinx函数，为奇数使用cosx函数；再对y方向加入位置编码。计算完之后的矩阵，在步骤3、4中加入到Query、Key矩阵中。
Figure BDA0003217269320000051
Figure BDA0003217269320000052
其中，代表当前的像素点在图像行或列中的位置，2k和2k+1分别代表当前位置是偶数还是奇数，d代表向量的维度。
步骤3、在transformer-encoder(编码器)中的Self-Attention(自注意力)层中加入高斯分布的Attention分支，并对Key和Value矩阵进行卷积降维。
如图2所示，transformer-encoder(编码器)结构由下之上分别是：Self-Attention(自注意力)层、Add&Norm层、FNN层、Add&Norm层。其具体流程如下：
第一步，将特征图X转化为Q、K、V矩阵后，这一步具体的如图3的左侧所示，再经过Self-Attention(自注意力)层，Self-Attention(自注意力)层具体结构如图3右侧所示。
第二步，通过Add&Norm层，其中Add操作就是把Self-Attention(自注意力)层计算的结果与原特征图X直接相加，类似于残差结构，Norm操作，把Add操作后的结果进行归一化处理。
第三步，通过FNN层，具体的，先通过一个全连接层，将通道数从256变成2048，再通过Relu激活函数，dropout设置为0.1，最后再通过一个全连接层，将通道数从2048变成256，dropout设置为0.1。
第四步，再通过Add&Norm层，具体的与第二步类似。
本实施例在编码器encoder中的Self-Attention(自注意力)层之前，对K、V矩阵进行改进，如图3左侧所示。具体的：根据输入的特征图X，分别通过三个线性层(WQ、WK、WV)，得到对应的Q、K、V三个矩阵大小均为49*256；对Q、K矩阵加上步骤二得到的位置编码，将K、V展成7*7*256后进行卷积，这里采用3*3的卷积核，卷积步长为2，卷积核个数与输入通道一致，然后将得到的3*3*256的卷积展平，在先前的实验中发现，Q、K、V矩阵是低秩，也就说Q、K、V矩阵实际训练中的维度并没这么高，那么本实施例用卷积处理，并不会丢失很多的信息。
改进前Q、K、V矩阵的大小均为H*W*C，则计算复杂度为O((H*W)2*C)，改进后的计算复杂度为O(H*W*h*w*C)，其中H*W＝49，而通过卷积后h*w＝9，与改进前的Attention相比，计算复杂度下降了5倍左右，极大提升了Self-Attention(自注意力)层的计算速度。
本实施例在encoder(编码器)中的Self-Attention(自注意力)层添加一个与高斯分布的Attention的分支，如图3右侧；增加的原因在于：一块瑕疵往往出现在当前像素点及其周围的像素点，虽然通过Resnet-50的特征提取，能够增加当前像素点周围的局部性，但是随着网络深度越深，对局部性感知不敏感，这不利于对小瑕疵对检测。
本实施例计算本身的Attention的Q、K的Matmul(矩阵乘法)和softmax函数的同时，可以计算Q、K矩阵的高斯Attention，接着将两者的结果相加，通过Norm层对结果进行归一化，最后，与V矩阵相乘得到最终的Attention矩阵。
本实施例高斯分布的Attention的分支中采用标准正态分布的标准差σ2＝1/(2π)，概率密度函数为
Figure BDA0003217269320000071
其中s为两个qi(Q矩阵中的行向量)和ki(K矩阵中的行向量)个向量之间的距离。由于只做了一个矩阵的加法，不影响速度的情况下，提高对瑕疵的检测的精确度。
本实施例设置6个encoder(解码器)，对每个encoder(解码器)的Self-Attention都执行如上两步操作，将最后得到的结果输入到decoder中。
步骤4、从transformer的encoder(编码器)的最后一层输出Q输入到decoder(解码器)中，并把object queries(可学习的矩阵)输入到decoder中。具体的：
object queries是一个随机初始化大小为100*256的矩阵，其中100为预先设定的目标个数，在训练的过程，它会学习encoder(编码器)输入的特征编码，然后decoder(解码器)将这100个查询转换为100个目标输出，即学习目标和整张图的内容之间的关系，最后将输出到FNN(前馈神经网络预测分支)，进行分类和预测。
其中，transformer-decoder(解码器)结构如图2的右半部分虚线框所示，其结构由下之上分别是：Self-Attention(自注意力)层、Add&Norm层、Self-Attention层、Add&Norm层、FNN层、Add&Norm层。其流程具体如下：
第一步，将object queries(可学习的矩阵)转化为Q、K、V矩阵后，Q、K矩阵加上object queries(可学习的矩阵)用于学习目标与全局的关系，然后将Q、K、V矩阵输入Self-Attention(自注意力)层；
第二步，通过Add&Norm层；
第三步，Self-Attention(自注意力)中的Q分别由上一步的输出结果和objectqueries(可学习的矩阵)相加，这里的K和V矩阵与encoder(编码器)类似，将encoder(编码器)的结果Attention矩阵通过线性层得到K、V，这里不对K、V降维。这里要注意的是K矩阵需要加上位置编码，V不需要；
第四步，通过Add&Norm层；
第五步，通过FNN层，这里的FNN层的设置与encoder(编码器)一致；
第六步，通过Add&Norm层。
步骤5、transformer decoder(解码器)的结果输入到两个分支，分类分支通过全连接进行分类，回归分支通过多层感知机进行边界框的回归，具体的：
decoder(解码器)最终会输出6*100*256，其中6代表了6个decoder(解码器)，本实施例只需要取最后一个decoder(解码器)的结果，在训练时，因为对其余5个decoder(解码器)加上同样的loss(损失函数)监督，对效果会有所提升，所以训练时会输出6个decoder(解码器)的结果。对分类这个分支直接采用全连接将通道数从256变成n，输出100*n，其中n代表瑕疵数据集的瑕疵类别数目；对预测框采用3层的MLP，输入通道数为256，隐藏层为256，输出层为4，输出为100*4。
步骤6、网络训练时，回归的损失函数由Liou和L1损失函数组成，Lbox＝λiou*Liou+λL1*L1，经实验得出λiou取2.0，λL1取5.0效果比较理想。分类损失函数为交叉熵损失函数，最后将这个两个损失函数输入到匈牙利损失函数中，计算损失。匈牙利损失函数如下所示：
Figure BDA0003217269320000091
其中ci是类别标签，
Figure BDA0003217269320000092
为预测的类别，
Figure BDA0003217269320000093
中ci(类别的标签)不能为空集，如果没有类别，那么就不需要计算后面的预测框回归。其中Lbox具体如下：
Figure BDA0003217269320000094
其中
Figure BDA0003217269320000101
为预测类别的预测框，bi为预测类别的真实边框，
Figure BDA0003217269320000102
为ci类的概率。
步骤7、使用训练好的网络进行前向推理时，预测出瑕疵位置以及瑕疵的类别。

Claims (5)

1.一种基于深度学习网络的瑕疵点识别方法，其特征在于该方法包括以下步骤：
步骤1、拍摄包含瑕疵点的视频图像序列，将其输入至特征提取分支进行特征提取；
步骤2、将特征提取分支输出的特征图经过展平，通过添加位置信息分支加入位置编码信息，输入至transformer分支中的编码器transformer-encoder；
所述的编码器transformer-encoder中的自注意力层Self-Attention进行了改进，具体是：在自注意力层Self-Attention中增加了一个用于增强局部性且基于位置的高斯分布Attention分支；
同时还对输入至编码器transformer-encoder的Key和Value矩阵进行卷积降维，用于提升自注意力层Self-Attention的计算速度；
步骤4、将编码器transformer-encoder的最后一层输出，作为transformer分支中解码器transformer-decoder的输入，并把可学习的矩阵object queries输入到解码器transformer-decoder中；
步骤5、解码器transformer decoder的结果输入到前馈神经网络预测分支，分类分支和回归分支，其中分类分支通过全连接进行分类，回归分支通过多层感知机进行边界框的回归；
步骤6、对网络进行训练，训练时，分类损失为交叉熵损失，回归损失包括Liou损失和L1损失；
所述网络由特征提取分支，添加位置信息分支，transformer分支，前馈神经网络预测分支组成；
步骤7、使用训练好的网络进行前向推理时，计算模型预测图像中的瑕疵点。
2.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：所述的特征提取分支采用Resnet-50网络。
3.根据权利要求2所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：卷积降维过程中采用3*3的卷积核，卷积步长为2，卷积核个数与输入通道一致。
4.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：高斯分布Attention分支的输入为Query矩阵和卷积降维后的Key矩阵。
5.根据权利要求1所述的一种基于深度学习网络的瑕疵点识别方法，其特征在于：回归的损失函数Lbox由Liou损失函数和L1损失函数组成，Lbox＝2*Liou+5*L1。
CN202110947457.3A 2021-08-18 2021-08-18 一种基于深度学习网络的瑕疵点识别方法 Active CN113673594B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110947457.3A CN113673594B (zh) 2021-08-18 2021-08-18 一种基于深度学习网络的瑕疵点识别方法
PCT/CN2021/115494 WO2023019636A1 (zh) 2021-08-18 2021-08-31 一种基于深度学习网络的瑕疵点识别方法
US17/810,608 US11615523B2 (en) 2021-08-18 2022-07-03 Methods for recognizing small targets based on deep learning networks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110947457.3A CN113673594B (zh) 2021-08-18 2021-08-18 一种基于深度学习网络的瑕疵点识别方法

Publications (2)

Publication Number Publication Date
CN113673594A true CN113673594A (zh) 2021-11-19
CN113673594B CN113673594B (zh) 2022-07-12

Family

ID=78543487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110947457.3A Active CN113673594B (zh) 2021-08-18 2021-08-18 一种基于深度学习网络的瑕疵点识别方法

Country Status (2)

Country Link
CN (1) CN113673594B (zh)
WO (1) WO2023019636A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953665A (zh) * 2023-03-09 2023-04-11 武汉人工智能研究院 一种目标检测方法、装置、设备及存储介质
CN117292243A (zh) * 2023-11-24 2023-12-26 合肥工业大学 基于深度学习的心磁信号时空图像预测方法、设备及介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823718B (zh) * 2023-04-17 2024-02-23 南通大学 一种基于深度学习的筒纱缺陷图像分类方法
CN116503880B (zh) * 2023-06-29 2023-10-31 武汉纺织大学 一种倾斜字体的英文字符识别方法和系统
CN116883409B (zh) * 2023-09-08 2023-11-24 山东省科学院激光研究所 一种基于深度学习的输送带缺陷检测方法及系统
CN117191821B (zh) * 2023-11-03 2024-02-06 山东宇影光学仪器有限公司 一种基于Deformable-DAB-DETR的高透光菲涅尔透镜实时检测方法
CN117197727B (zh) * 2023-11-07 2024-02-02 浙江大学 一种基于全局时空特征学习的行为检测方法与系统
CN117541554A (zh) * 2023-11-15 2024-02-09 江西理工大学 一种基于深度学习的表面缺陷检测方法
CN117409264B (zh) * 2023-12-16 2024-03-08 武汉理工大学 基于transformer的多传感器数据融合机器人地形感知方法
CN117496131B (zh) * 2023-12-29 2024-05-10 国网山东省电力公司济南供电公司 一种电力作业现场安全行为识别方法及系统
CN117994254A (zh) * 2024-04-03 2024-05-07 江苏兴力工程管理有限公司 一种基于条件交叉注意力机制的架空线路绝缘子定位识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251431A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask Learning As Question Answering
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
CN112149619A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 一种基于Transformer模型自然场景文字识别方法
CN113240626A (zh) * 2021-04-08 2021-08-10 西安电子科技大学 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN113241075A (zh) * 2021-05-06 2021-08-10 西北工业大学 一种基于残差高斯自注意力的Transformer端到端语音识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101863615B1 (ko) * 2017-05-24 2018-06-01 (주)이스트소프트 신경망 학습 기반의 변종 악성 코드를 탐지하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN111681228A (zh) * 2020-06-09 2020-09-18 创新奇智(合肥)科技有限公司 瑕疵检测模型、训练方法、检测方法、装置、设备及介质
CN111899224A (zh) * 2020-06-30 2020-11-06 烟台市计量所 基于深度学习注意力机制的核电管道缺陷检测系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190251431A1 (en) * 2018-02-09 2019-08-15 Salesforce.Com, Inc. Multitask Learning As Question Answering
KR20200092143A (ko) * 2019-01-24 2020-08-03 가천대학교 산학협력단 딥러닝 신경망을 이용한 디스플레이 패널 불량 진단 시스템 및 방법
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN112149619A (zh) * 2020-10-14 2020-12-29 南昌慧亦臣科技有限公司 一种基于Transformer模型自然场景文字识别方法
CN113240626A (zh) * 2021-04-08 2021-08-10 西安电子科技大学 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN113241075A (zh) * 2021-05-06 2021-08-10 西北工业大学 一种基于残差高斯自注意力的Transformer端到端语音识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAEYOUNG KIM 等: "T-GSA: Transformer with Gaussian-Weighted Self-Attention for Speech Enhancement", 《ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
SUFENG DUAN 等: "Attention Is All You Need for Chinese Word Segmentation", 《ARXIV》 *
张丽瑶等: "基于SSD的织物瑕疵检测的研究", 《电子设计工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953665A (zh) * 2023-03-09 2023-04-11 武汉人工智能研究院 一种目标检测方法、装置、设备及存储介质
CN117292243A (zh) * 2023-11-24 2023-12-26 合肥工业大学 基于深度学习的心磁信号时空图像预测方法、设备及介质
CN117292243B (zh) * 2023-11-24 2024-02-20 合肥工业大学 基于深度学习的心磁信号时空图像预测方法、设备及介质

Also Published As

Publication number Publication date
CN113673594B (zh) 2022-07-12
WO2023019636A1 (zh) 2023-02-23

Similar Documents

Publication Publication Date Title
CN113673594B (zh) 一种基于深度学习网络的瑕疵点识别方法
CN111783705B (zh) 一种基于注意力机制的文字识别方法及系统
US11615523B2 (en) Methods for recognizing small targets based on deep learning networks
CN110163286B (zh) 一种基于混合池化的领域自适应图像分类方法
CN113435594B (zh) 安防检测模型训练方法、装置、设备及存储介质
CN113128527B (zh) 基于变换器模型和卷积神经网络的图像场景分类方法
CN110472695B (zh) 一种工业生产过程的异常工况检测和分类方法
CN110781686B (zh) 一种语句相似度计算方法、装置及计算机设备
CN116704431A (zh) 水污染的在线监测系统及其方法
CN115222998B (zh) 一种图像分类方法
CN114926770A (zh) 视频动作识别方法、装置、设备和计算机可读存储介质
CN114708436B (zh) 语义分割模型的训练方法、语义分割方法、装置和介质
CN117152416A (zh) 一种基于detr改进模型的稀疏注意力目标检测方法
CN115687772A (zh) 一种基于顺序依赖增强自注意力网络的序列推荐方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN115205336A (zh) 一种基于多层感知机的特征融合目标感知跟踪方法
CN117197727B (zh) 一种基于全局时空特征学习的行为检测方法与系统
CN117315293A (zh) 一种基于Transformer的时空上下文目标跟踪方法及系统
CN111027681B (zh) 时序数据处理模型训练方法、数据处理方法、装置及存储介质
CN117011943A (zh) 基于多尺度自注意力机制的解耦的3d网络的动作识别方法
CN117076983A (zh) 传输外线资源识别检测方法、装置、设备及存储介质
Wang et al. Scene uyghur recognition with embedded coordinate attention
CN114463614A (zh) 使用生成式参数的层次性显著建模的显著性目标检测方法
CN114187569A (zh) 一种皮尔森系数矩阵与注意力融合的实时目标检测方法
CN114550159A (zh) 一种图像字幕生成方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant