CN117576095A - 一种多尺度学习任务的金属表面缺陷检测和分类方法 - Google Patents
一种多尺度学习任务的金属表面缺陷检测和分类方法 Download PDFInfo
- Publication number
- CN117576095A CN117576095A CN202410057204.2A CN202410057204A CN117576095A CN 117576095 A CN117576095 A CN 117576095A CN 202410057204 A CN202410057204 A CN 202410057204A CN 117576095 A CN117576095 A CN 117576095A
- Authority
- CN
- China
- Prior art keywords
- defect
- scale
- feature
- module
- metal surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000002184 metal Substances 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 238000010586 diagram Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims abstract description 16
- 239000000284 extract Substances 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 20
- 230000008447 perception Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 235000004257 Cordia myxa Nutrition 0.000 claims description 3
- 244000157795 Cordia myxa Species 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000037303 wrinkles Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种多尺度学习任务的金属表面缺陷检测和分类方法，包括采集金属表面缺陷数据，获取金属缺陷特征图，将其输入细长部分卷积模块得到多尺度缺陷特征图，将其输入高效多尺度特征融合模块，获得高效多尺度融合特征图，构建金属表面缺陷检测网络AISDDNet，提取包含多尺度和位置的深层缺陷特征的特征图，检测出多尺度缺陷的边界框预测结果和分类结果，采用相似性和并集交集损失作为损失函数，对该模型进行训练和权重更新，得到最终的缺陷检测模型。本发明采用了专注于捕获细长和曲折的缺陷特征，采用了高效多尺度特征融合模块，提出的目标检测框架能同时提取到不同尺度的特征，适用于大部分工业场景下的金属表面跨尺度缺陷检测。
Description
技术领域
本发明涉及机械加工与工业视觉检测技术领域，尤其涉及一种多尺度学习任务的金属表面缺陷检测和分类方法。
背景技术
在当代机械制造过程领域中，叶轮发挥着至关重要的作用，其在汽车工程、航空航天工程、海洋工程等各个领域有着广泛的应用。然而，叶轮在制造和运输过程中金属表面经常会出现表面缺陷。有些缺陷虽然很小（小于3毫米），但对产品安全和质量的威胁却是严重的。目前，大多数企业仍采用传统的人工检验方法来保证叶轮的质量。这种方法往往依赖大量经验丰富的检验人员，工作量大、效率低、而且由于有些缺陷是太过微小，常常很容易被错过，漏检率较高。因此，有必要提出一种保证叶轮质量的检测方法。
21世纪初，人工智能技术逐渐兴起，工业检测方案逐渐从传统方法转换为深度学习方案，基于计算机视觉的深度学习技术已广泛应用于解决工业检测问题。由于卷积神经网络（CNN）架构强大的特征提取能力，能在表面缺陷检测问题上取得出色的性能。然而，由于少数微小的缺陷特征很容易在下采样操作中模糊导致分类困难，大多数基于深度学习方法在该领域尚未取得令人满意的性能。基于此背景，本发明旨在运用机器视觉技术，实现数据驱动的叶轮金属表面微小缺陷样本检测，保证叶轮生产加工制造过程中产品质量的可靠性。
发明内容
针对现有技术的不足，本发明提供了一种多尺度学习任务的金属表面缺陷检测和分类方法，解决了现有技术的金属表面缺陷检测特征提取方式对细长缺陷和微小缺陷等检测准确率低、鲁棒性低的问题；针对上述背景技术中存在的问题，本发明提出了金属表面缺陷检测网络AISDDNet，在检测金属表面缺陷的多尺度、微小和细长缺陷方面表现出了良好的性能；同时，相较于其他目标检测框架，本发明的特征提取方式采用了精心设计的用细长部分卷积模块SPC，专注于捕获细长和曲折的缺陷特征，其中同时考虑了特征提取的性能和速度；最后，由于采用了高效多尺度特征融合模块EMFF，本发明提出的目标检测框架能同时提取到不同尺度的特征，适用于大部分工业场景下的金属表面跨尺度缺陷检测。
为解决上述技术问题，本发明提供了如下技术方案：一种多尺度学习任务的金属表面缺陷检测和分类方法，包括以下步骤：
S1、采集金属表面缺陷数据，并对缺陷进行定义，获取金属缺陷特征图；
S2、将金属缺陷特征图输入细长部分卷积模块SPC，对特征图/>中多尺度缺陷特征进行特征提取，得到多尺度缺陷特征图/>；
S3、将输入高效多尺度特征融合模块EMFF，通过控制最长最短梯度路径并评估不同通道的重要性来重新加权通道，获取浅层特征的高效多尺度融合特征图/>；
S4、构建金属表面缺陷检测网络AISDDNet，该网络通过尺度和空间感知模块SSA提取包含多尺度和位置的深层缺陷特征的特征图，使用深层缺陷特征的特征图/>检测出多尺度缺陷的边界框预测结果和分类结果；
S5、针对跨尺度缺陷的缺陷检测模型，采用相似性和并集交集损失作为损失函数，对该模型进行训练和权重更新，并得到最终的缺陷检测模型。
进一步地，在步骤S1中，具体过程包括以下步骤：
S11、采用二维工业相机对有缺陷的叶轮表面进行图像采集；
S12、对采集得到的金属表面缺陷的图像种类进行定义，金属表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类，定义完缺陷种类后，对金属表面缺陷进行数据标注。
进一步地，在步骤S2中，具体过程包括以下步骤：
S21、将输入细长部分卷积模块SPC，细长部分卷积模块SPC采用细长卷积Slender Convs捕获细长和管状缺陷特征图/>，采用普通卷积Convs捕获其他类型缺陷尺度特征图/>；
S22、将细长和管状缺陷特征图和其他类型缺陷尺度特征图/>以及金属缺陷特征图/>在通道维度上进行拼接操作对不同尺度特征进行连接，并经过批量归一化层BN和SeLU激活后作为SPC的输出，得到多尺度缺陷特征图/>。
进一步地，向所述S21中的细长卷积Slender Convs的卷积核引入了偏移量，通过偏移量来确定与卷积核/>进行卷积操作的像素在特征图上的坐标，得到与卷积核进行卷积的像素/>的位置集合/>，计算出要与细长卷积核/>进行卷积的像素的位置坐标后，获取每一个多尺度缺陷特征图/>中的每个像素 />。
进一步地，在步骤S3中，具体过程包括以下步骤：
S31、构建高效多尺度特征融合模块EMFF，该模块将S2步骤中提取出的多尺度缺陷特征图作为输入，先经过经典卷积CBS模块进行初步融合，得到CBS模块输出的特征图/>；
S32、对CBS模块计算出的特征图进行分割，并通过瓶颈层BottleNeck的计算模块对低高级空间信息和通道依赖性进行提取，BottleNeck是采用一个部分卷积PConv后接1×1的卷积核，再连接多尺度特征通道注意力MSFCA，在通道层面融合输入特征向量的不同尺度特征，将注意力集中在特征更细化的通道上，得到MSFCA的输出特征图/>；
S33、构建EMFF输出模块，将个BottleNecks的输出特征图在通道维度上拼接起来，再使用卷积调整通道数为C后在通道层面对特征进行了融合，得到EMFF模块输出的高效多尺度融合特征图/>。
更为具体的，在步骤S32中，多尺度特征通道注意力MSFCA在通道维度上学习每个通道的权重，输入为H*W*C的特征向量，其中H是特征向量的高、W是特征向量的宽、C是特征向量的通道数，在通道层面做平均池化压缩为1*1*C，经过全连接层，每个通道上的1*1向量即为该通道的权重，使用每个通道的权重为输入为H*W*C的特征向量重新赋权，重新赋权后得到的作为MSFCA模块的输出。
进一步地，在步骤S4中，具体过程包括以下步骤：
S41、交替堆叠S2步骤中提取的多尺度缺陷特征图和S3步骤中提取的浅层特征的多尺度融合特征图/>；
S42、将交替堆叠后的多尺度缺陷特征图作为空间和尺度感知模块SSA的输入，从而输出不同种类缺陷所处空间位置特征图，将空间感知模块的输出/>作为尺度感知模块的输入/>，在尺度感知模块中采用多个不同感受野并行的卷积核后经过池化层Pooling使得网络能自适应调整特征图/>的感受野尺寸，通过模型调整Re-model模块和注意力机制Attention为不同种类不同尺度的缺陷在不同空间位置出现的概率赋予不同的权重，通过不同权重以此来体现模型所关注的区域，从而输出包含多尺度和位置的深层缺陷特征的特征图/>。
进一步地，在步骤S5中，采用相似性和并集交集损失作为损失函数，具体包括：
采用边界框回归损失来监督和优化缺陷检测训练过程，此外还采用了分类器损失/>来优化缺陷分类性能和使用相似性损失/>以评估微小物体的检测精度，联合损失可表示为：
；
其中，、/>和/>表示各损失函数的比例，/>和/>分别采用CIOU损失和VFL损失来评估边界框预测和分类精度，/>采用高斯分布来评估微小物体的检测精度，/>可以表示为：/>；
其中，/>表示预测的缺陷边界框/>左上角的坐标、表示预测缺陷的边界框/>的宽度和高度，/>，/>表示真实的缺陷边界框/>左上角的坐标、/>表示真实的缺陷边界框/>的宽度和高度，/>可表示为：
；
其中，表示向量的两范数。
借由上述技术方案，本发明提供了一种多尺度学习任务的金属表面缺陷检测和分类方法，至少具备以下有益效果：
与传统的方法相比，本发明提供了一种金属表面跨尺度缺陷检测方法，通过交替堆叠细长部分卷积模块SPC和高效多尺度特征融合模块EMFF并连接尺度和空间感知模块SSA，以构建金属表面缺陷检测网络AISDDNet，实现多尺度缺陷特征提取、在通道层面融合多尺度缺陷特征、增强缺陷特征的融合和空间信息捕获的表达能力，对金属表面多尺度、微小和细长缺陷进行识别和定位。
相较于一般的目标检测框架，本发明提出的金属表面缺陷检测网络AISDDNet在细长部分卷积模块中，使用细长卷积能自适应地关注细长和曲折的局部结构来捕获细长缺陷，同时也使用普通卷积核来获取其他类型缺陷的空间和几何信息；在高效多尺度特征融合模块EMFF使用通道注意力机制对各种空间特征信息在通道维度上进行融合；在尺度和空间感知模块SSA中使用尺度感知注意力和空间感知注意力，提高特征向量中对于缺陷的尺度信息和所处空间位置信息的表达能力带来具有更好的定位效果。
本发明提出的目标检测框架推理精度高，适用于大部分工业场景下的金属表面跨尺度缺陷检测。本发明能够有效解决了现有技术对金属表面缺陷检测特征提取方式对细长缺陷和微小缺陷等检测准确率低、鲁棒性低的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明金属表面跨尺度缺陷检测方法流程图；
图2为本发明AISDDNet网络模型框架图；
图3为本发明提出的SPC细长部分卷积模块框架图；
图4为本发明提出的EMFF模块框架图；
图5为本发明提出的SSA模块框架图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1 -图5，示出了本实施例的一种具体实施方式，本实施例通过金属表面缺陷检测模型提取出的特征图包含了图像本身的信息和多尺度缺陷的信息，对于不同尺度缺陷，具有更强的特征提取效果；通过交替堆叠细长部分卷积模块SPC和高效多尺度特征融合模块（EMFF）并连接尺度和空间感知模块SSA，以构建金属表面缺陷检测网络AISDDNet，实现多尺度缺陷特征提取、在通道层面融合多尺度缺陷特征、增强缺陷特征的融合和空间信息捕获的表达能力，对金属表面多尺度、微小和细长缺陷进行识别和定位，本发明提出的目标检测框架推理精度和效率更高，适用于大部分工业场景下的金属表面跨尺度缺陷检测。
请参照图1，本实施例提出了一种多尺度学习任务的金属表面缺陷检测和分类方法，该方法包括以下步骤：
S1、采集金属表面缺陷数据，并对缺陷进行定义，获取金属缺陷特征图；
作为步骤S1的优选实施方式，具体过程包括以下步骤：
S11、采用二维工业相机对有缺陷的叶轮表面进行图像采集；
S12、对采集得到的金属表面缺陷的图像种类进行定义，金属表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类，定义完缺陷种类后，对金属表面缺陷进行数据标注。
S2、将金属缺陷特征图输入细长部分卷积模块SPC，对特征图/>中多尺度缺陷特征进行特征提取，得到多尺度缺陷特征图/>；
作为步骤S2的优选实施方式，具体过程包括以下步骤：
S21、细长部分卷积模块SPC的输入特征图为，细长部分卷积模块SPC采用细长卷积Slender Convs捕获细长和管状缺陷特征图/>，采用普通卷积Convs捕获其他类型缺陷尺度特征图/>；
其中，细长卷积Slender Convs和普通卷积Convs的卷积核尺寸均为，H是特征向量的高、W是特征向量的宽、C是特征向量的通道数；
S22、将细长和管状缺陷特征图和其他类型缺陷尺度特征图/>以及金属缺陷特征图/>在通道维度上进行拼接操作对不同尺度特征进行连接，并经过批量归一化层BN和SeLU激活后作为SPC的输出，得到多尺度缺陷特征图/>，如图3所示；因此SPC输出的特征图能同时包含不同尺度的缺陷特征。
更为具体的是，为了赋予细长部分卷积更大的灵活性并确保细长卷积SlenderConvs能够捕获更多细长和管状缺陷特征，向细长卷积Slender Convs的卷积核引入了偏移量/>，通过偏移量来确定与卷积核/>进行卷积操作的像素在特征图上的坐标，得到与卷积核进行卷积的像素/>的位置集合/>，其中，给出一个大小为/>的卷积核/>，/>为卷积核/>的尺寸。卷积核/>可以被表示为内核中每个网格坐标的集合：
；
内核中每个网格的坐标被表示为，其中/>为卷积核/>的中心网格坐标，c表示为最中心的网格，表示内核中心网格到其他网格的水平距离和垂直距离。然后需要利用偏移量/>来确定与卷积核/>进行卷积操作的像素在特征图上的坐标。确定过程是一个累积的过程，从中心网格/>开始，下一个像素位置受到前一个像素位置的约束。具体来说确定过程可以表示为：
；
其中，表示要与内核进行卷积的像素/> 的位置集合，/>是与卷积核进行卷积操作的像素的偏移量；
计算出要与细长卷积核进行卷积的像素的位置坐标后，获取每一个多尺度缺陷特征图/>中的每个像素 />；对于每一个输出特征图/>中的每个像素 />，计算公式如下：
；
表示计算特征图上/>点的像素值的双线性插值的公式，其中/>表示核/>在点的权重。
在本实施例中，本发明在细长部分卷积模块SPC中，使用细长卷积能自适应地关注细长和曲折的局部结构来捕获细长和管状缺陷特征图，通过向细长卷积的卷积核引入了偏移量对其施加约束来赋予内核有限的灵活性来学习偏移量，同时也使用普通卷积来获取其他类型缺陷尺度特征图/>，将/>、/>以及原始的金属缺陷特征图/>在通道维度上进行拼接操作对不同尺度特征进行连接，使得SPC输出的特征图/>能同时包含不同尺度的缺陷特征，且获取每一个多尺度缺陷特征图/>中的每个像素，提高了本发明的精确度，实现多尺度缺陷特征提取，为后期在通道层面融合多尺度缺陷特征做好铺垫，解决了现有技术对金属表面缺陷检测特征提取方式对细长缺陷和微小缺陷等检测准确率低、鲁棒性低的问题。
S3、将输入高效多尺度特征融合模块EMFF，通过控制最长最短梯度路径并评估不同通道的重要性来重新加权通道，获取浅层特征的高效多尺度融合特征图/>；
作为步骤S3的优选实施方式，如图4所示，具体过程包括以下步骤：
S31、构建高效多尺度特征融合模块EMFF，融合特征并避免梯度衰减和爆炸；该模块将S2步骤中提取出的多尺度缺陷特征图作为输入，先经过经典卷积CBS模块进行初步融合，得到CBS模块输出的特征图/>；其计算过程如下：
；
其中，表示CBS模块输出的特征图，/>表示输入的多尺度缺陷特征图，/>表示CBS模块计算，/>表示卷积核大小为/>的卷积，/>表示bias，/>表示Silu激活函数，表示批量正则化，/>表示卷积计算。
S32、对CBS模块计算出的特征图进行分割，并通过瓶颈层BottleNeck的计算模块对低高级空间信息和通道依赖性进行提取，实现在通道层面对多尺度特征的融合；解决了传统方法对金属表面微小缺陷检测时金属表面缺陷的尺度变化很大，很难建立合适的网络结构来同时提取高低层特征的问题；BottleNeck是采用一个部分卷积PConv后接1×1的卷积核，再连接多尺度特征通道注意力MSFCA，在通道层面融合输入特征向量的不同尺度特征，将注意力集中在特征更细化的通道上，得到MSFCA的输出特征图/>；BottleNeck模块的计算过程如以下表示：
；
其中，MSFCA代表多尺度特征通道注意力，以实现在通道维度上使用注意力机制在通道层面融合输入特征向量的不同尺度特征。代表第i个bottleneck的特征提取操作，/>表示/>中的参数，/>（channel-wise concatenated）代表通道拼接，/>代表bottleneck的数量，/>代表第i个bottleneck输出的特征图，/>表示1*1卷积，经过channel-wisesplit即通道分割之后，再在通道层面做拼接。
其中MSFCA是在通道维度上学习每个通道的权重，提高包含缺陷特征的通道的重要性。MSFCA和其表达式如下：
；
；
其中，和/>分别表示/>的输入和输出特征矩阵，/>表示取/>部分通道进行部分卷积（Pconv），/>表示取/>的部分通道不做卷积而是直接concat拼接，/>表示尺寸为/>的卷积核/>，/>表示尺寸为1*1卷积核；
表示MSFCA的输出特征图，在通道维度上使用注意力机制在通道层面融合输入特征向量的不同尺度特征，/>表示在通道层面全局池化，/>表示在通道层面逐元素乘法，表示对通道的重要性进行建模，采用一个全连接层进行权重计算。每个通道上将获得对应通道的权重，带有缺陷信息的道通拥有更大的权重；使用包含每个通道权重的1*1*C特征向量为输入的/>进行/>操作以重新赋权（Re-Weight），这个过程可以将不同通道提取的不同尺度特征进行融合，可以将注意力集中在特征更细化的通道上。Re-Weight后得到的/>中对带有缺陷信息的道通有更强的表达，作为MSFCA模块的输出。
更为具体的是，在步骤S32中，多尺度特征通道注意力MSFCA在通道维度上学习每个通道的权重，输入为H*W*C的特征向量，其中H是特征向量的高、W是特征向量的宽、C是特征向量的通道数，在通道层面做平均池化压缩为1*1*C，经过全连接层，每个通道上的1*1向量即为该通道的权重，使用每个通道的权重为输入为H*W*C的特征向量重新赋权，重新赋权后得到的作为MSFCA模块的输出。
S33、构建EMFF输出模块，将个BottleNecks的输出特征图在通道维度上拼接起来，再使用卷积调整通道数为C后在通道层面对特征进行了融合，得到EMFF模块输出的高效多尺度融合特征图/>，其计算过程表示为：
；
其中是EMFF的输出特征图，/>表示第/>个BottleNecks的输出，代表bottleneck的数量，/>是CBS模块的输出特征图/>经过分割（split）操作的输出。
在本实施例中，本发明在高效多尺度特征融合模块EMFF使用通道注意力机制对各种空间特征信息在通道维度上进行融合，在通道层面融合多尺度缺陷特征、增强缺陷特征的融合和空间信息捕获的表达能力。
S4、构建金属表面缺陷检测网络AISDDNet，该网络通过尺度和空间感知模块SSA提取包含多尺度和位置的深层缺陷特征的特征图，使用深层缺陷特征的特征图/>检测出多尺度缺陷的边界框预测结果和分类结果；
作为步骤S4的优选实施方式，如图5所示，具体过程包括以下步骤：
S41、AIDDNet是一种交叉阶段部分卷积（CSP）结构网络，这种结构因其良好的特征捕捉和融合能力而被广泛应用于缺陷检测任务中；交替堆叠S2步骤中提取的多尺度缺陷特征图和S3步骤中提取的浅层特征的多尺度融合特征图/>；
S42、将交替堆叠后的多尺度缺陷特征图即粗略的特征图Coarse Feature Map作为空间和尺度感知模块SSA的输入，从而输出不同种类缺陷所处空间位置特征图；
更为具体的是，SSA在空间感知模块中实现了元素空间注意力机制，将输入的粗略的特征图经过池化层、通道压缩、Relu激活函数、空间特征建模和使用注意力机制，这使得模型更加关注缺陷与周围信息之间的依赖关系，其计算过程可以表示为：；
其中，表示空间感知模块的输入即粗略的特征图，/>表示空间感知模块输出的不同种类缺陷所处空间位置特征图，/>表示对空间中各种缺陷特征的空间位置关系进行建模，采用的是卷积层和hard sigmoid激活函数；
SSA将空间感知模块的输出作为尺度感知模块的输入/>，在尺度感知模块中采用多个不同感受野receptive flied并行的卷积核（3*3 Convs、5*5 Convs等）后经过池化层Pooling使得网络能自适应调整特征图/>的感受野尺寸，通过模型调整Re-model模块和注意力机制Attention为不同种类不同尺度的缺陷在不同空间位置出现的概率赋予不同的权重，通过不同权重以此来体现模型所关注的区域，从而输出包含多尺度和位置的深层缺陷特征的特征图/>即精细的特征图Refined Feature Map，精细的特征图/>里包含更多语义信息且能提高缺陷尺度和出现位置的表达能力，提高网络对多尺寸缺陷的检测和定位能力。该模块计算公式如下：
；
其中，是尺度感知模块的输入，/>表示对空间中不同尺度缺陷进行建模，采用全连接层和softmax函数实现，/>表示第i个卷积核的权重且/>，分别代表尺寸为/>的卷积核。最终输出的精细特征图为：
；
在本实施例中，本发明以可能含缺陷的金属表面图作为输入，通过上文SPC和EMFF提取多尺度缺陷的几何特征为浅层特征，将这些包含多尺度的缺陷特征的特征向量，经过尺度和空间感知模块SSA提取关于缺陷尺度和位置的深层特征，通过在尺度感知、空间感知两个模块使用注意力机制，自适应地动态调整感受野视野以适应不同尺度的缺陷特征，提取特征向量中对于不同种类缺陷所处空间位置信息；因为不同的缺陷往往与周围环境存在潜在的联系，例如，凹凸通常出现在边缘处，而划痕通常出现在金属表面，故需要考虑到缺陷和位置之间潜在的内在关系；该网络能增强高层和低层缺陷空间信息捕获和融合的能力实现对不同特征进行分类和定位，金属表面缺陷检测网络AISDDNet模块框架如图2所示。
S5、针对跨尺度缺陷的缺陷检测模型，采用相似性和并集交集损失作为损失函数，对该模型进行训练和权重更新，并得到最终的缺陷检测模型。
作为步骤S5的优选实施方式，在步骤S5中，采用相似性和并集交集损失作为损失函数，具体包括：
采用边界框回归损失来监督和优化缺陷检测训练过程，此外还采用了分类器损失/>来优化缺陷分类性能和使用相似性损失/>以评估微小物体的检测精度，联合损失可表示为：
；
其中，、/>和/>表示各损失函数的比例，/>和/>分别采用CIOU损失和VFL损失来评估边界框预测和分类精度，/>采用高斯分布来评估微小物体的检测精度，/>可以表示为：/>；
其中，/>表示预测的缺陷边界框/>左上角的坐标、表示预测缺陷的边界框/>的宽度和高度，/>，/>表示真实的缺陷边界框/>左上角的坐标、/>表示真实的缺陷边界框/>的宽度和高度，/>可表示为：
；
其中，表示向量的两范数。
在本实施例中，本发明针对凹坑等微小缺陷在原始图像中占据像素少、信息有限的特性，传统基于 IOU 的损失对目标对象的尺度过于敏感导致难以收敛模型，因此使用了一种基于相似性的损失函数，即相似性和并集交集（SIOU）损失来解决微小缺陷检测问题，使用的这种联合损失函数，通过结合边界框回归损失、分类损失/>和针对微小物体的相似性损失/>，对该模型进行训练和权重更新，并得到最终的高精度的缺陷检测模型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于，包括以下步骤：
S1、采集金属表面缺陷数据，并对缺陷进行定义，获取金属缺陷特征图；
S2、将金属缺陷特征图输入细长部分卷积模块SPC，对特征图/>中多尺度缺陷特征进行特征提取，得到多尺度缺陷特征图/>；
S3、将输入高效多尺度特征融合模块EMFF，通过控制最长最短梯度路径并评估不同通道的重要性来重新加权通道，获取浅层特征的高效多尺度融合特征图/>；
S4、构建金属表面缺陷检测网络AISDDNet，该网络通过尺度和空间感知模块SSA提取包含多尺度和位置的深层缺陷特征的特征图，使用深层缺陷特征的特征图/>检测出多尺度缺陷的边界框预测结果和分类结果；
S5、针对跨尺度缺陷的缺陷检测模型，采用相似性和并集交集损失作为损失函数，对该模型进行训练和权重更新，并得到最终的缺陷检测模型。
2.根据权利要求1所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S1中，具体过程包括以下步骤：
S11、采用二维工业相机对有缺陷的叶轮表面进行图像采集；
S12、对采集得到的金属表面缺陷的图像种类进行定义，金属表面缺陷种类分为凹坑、磕碰伤、边缘破损、锈蚀、破损、划痕、褶皱七类，定义完缺陷种类后，对金属表面缺陷进行数据标注。
3.根据权利要求1所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S2中，具体过程包括以下步骤：
S21、将输入细长部分卷积模块SPC，细长部分卷积模块SPC采用细长卷积SlenderConvs捕获细长和管状缺陷特征图/>，采用普通卷积Convs捕获其他类型缺陷尺度特征图/>；
S22、将细长和管状缺陷特征图和其他类型缺陷尺度特征图/>以及金属缺陷特征图在通道维度上进行拼接操作对不同尺度特征进行连接，并经过批量归一化层BN和SeLU激活后作为SPC的输出，得到多尺度缺陷特征图/>。
4.根据权利要求3所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：向所述S21中的细长卷积Slender Convs的卷积核引入了偏移量/>，通过偏移量来确定与卷积核/>进行卷积操作的像素在特征图上的坐标，得到与卷积核进行卷积的像素/>的位置集合/>，计算出要与细长卷积核/>进行卷积的像素的位置坐标后，获取每一个多尺度缺陷特征图/>中的每个像素 />。
5.根据权利要求1所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S3中，具体过程包括以下步骤：
S31、构建高效多尺度特征融合模块EMFF，该模块将S2步骤中提取出的多尺度缺陷特征图作为输入，先经过经典卷积CBS模块进行初步融合，得到CBS模块输出的特征图/>；
S32、对CBS模块计算出的特征图进行分割，并通过瓶颈层BottleNeck的计算模块对低高级空间信息和通道依赖性进行提取，BottleNeck是采用一个部分卷积PConv后接1×1的卷积核，再连接多尺度特征通道注意力MSFCA，在通道层面融合输入特征向量的不同尺度特征，将注意力集中在特征更细化的通道上，得到MSFCA的输出特征图/>；
S33、构建EMFF输出模块，将个BottleNecks的输出特征图在通道维度上拼接起来，再使用卷积调整通道数为C后在通道层面对特征进行了融合，得到EMFF模块输出的高效多尺度融合特征图/>。
6.根据权利要求5所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S32中，多尺度特征通道注意力MSFCA在通道维度上学习每个通道的权重，输入为H*W*C的特征向量，其中H是特征向量的高、W是特征向量的宽、C是特征向量的通道数，在通道层面做平均池化压缩为1*1*C，经过全连接层，每个通道上的1*1向量即为该通道的权重，使用每个通道的权重为输入为H*W*C的特征向量重新赋权，重新赋权后得到的作为MSFCA模块的输出。
7.根据权利要求1所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S4中，具体过程包括以下步骤：
S41、交替堆叠S2步骤中提取的多尺度缺陷特征图和S3步骤中提取的浅层特征的多尺度融合特征图/>；
S42、将交替堆叠后的多尺度缺陷特征图作为空间和尺度感知模块SSA的输入，从而输出不同种类缺陷所处空间位置特征图，将空间感知模块的输出/>作为尺度感知模块的输入/>，在尺度感知模块中采用多个不同感受野并行的卷积核后经过池化层Pooling使得网络能自适应调整特征图/>的感受野尺寸，通过模型调整Re-model模块和注意力机制Attention为不同种类不同尺度的缺陷在不同空间位置出现的概率赋予不同的权重，通过不同权重以此来体现模型所关注的区域，从而输出包含多尺度和位置的深层缺陷特征的特征图/>。
8.根据权利要求1所述的一种多尺度学习任务的金属表面缺陷检测和分类方法，其特征在于：在步骤S5中，采用相似性和并集交集损失作为损失函数，具体包括：
采用边界框回归损失来监督和优化缺陷检测训练过程，此外还采用了分类器损失来优化缺陷分类性能和使用相似性损失/>以评估微小物体的检测精度，联合损失可表示为：
；
其中，、/>和/>表示各损失函数的比例，/>和/>分别采用CIOU损失和VFL损失来评估边界框预测和分类精度，/>采用高斯分布来评估微小物体的检测精度，/>可以表示为：/>；
其中，/>表示预测的缺陷边界框/>左上角的坐标、/>表示预测缺陷的边界框/>的宽度和高度，/>，/>表示真实的缺陷边界框/>左上角的坐标、/>表示真实的缺陷边界框/>的宽度和高度，/>可表示为：
；
其中，表示向量的两范数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410057204.2A CN117576095B (zh) | 2024-01-16 | 2024-01-16 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410057204.2A CN117576095B (zh) | 2024-01-16 | 2024-01-16 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117576095A true CN117576095A (zh) | 2024-02-20 |
| CN117576095B CN117576095B (zh) | 2024-04-05 |
Family
ID=89892149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410057204.2A Active CN117576095B (zh) | 2024-01-16 | 2024-01-16 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117576095B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN114155186A (zh) * | 2021-10-08 | 2022-03-08 | 四川大学 | 基于无监督学习的缺陷检测系统及方法 |
| CN114240969A (zh) * | 2021-12-21 | 2022-03-25 | 北京交通大学 | 基于条纹多视野卷积网络的多线激光图像缺陷分割方法 |
| CN114663380A (zh) * | 2022-03-17 | 2022-06-24 | 合肥学院 | 一种铝材表面缺陷检测方法、存储介质及计算机系统 |
| CN114663436A (zh) * | 2022-05-25 | 2022-06-24 | 南京航空航天大学 | 一种基于深度学习的跨尺度缺陷检测方法 |
| CN115272252A (zh) * | 2022-08-02 | 2022-11-01 | 南京航空航天大学 | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 |
| CN115565148A (zh) * | 2022-11-09 | 2023-01-03 | 福思(杭州)智能科技有限公司 | 道路图像的检测方法、装置、存储介质和电子装置 |
| CN115760734A (zh) * | 2022-11-08 | 2023-03-07 | 南京信息工程大学 | 一种基于改进retinanet算法的带钢表面缺陷检测方法 |
| CN116402821A (zh) * | 2023-06-08 | 2023-07-07 | 湖南大学 | 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 |
| KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
| CN117094999A (zh) * | 2023-10-19 | 2023-11-21 | 南京航空航天大学 | 一种跨尺度缺陷检测方法 |
-
2024
- 2024-01-16 CN CN202410057204.2A patent/CN117576095B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709875A (zh) * | 2016-12-30 | 2017-05-24 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
| CN114155186A (zh) * | 2021-10-08 | 2022-03-08 | 四川大学 | 基于无监督学习的缺陷检测系统及方法 |
| CN114240969A (zh) * | 2021-12-21 | 2022-03-25 | 北京交通大学 | 基于条纹多视野卷积网络的多线激光图像缺陷分割方法 |
| CN114663380A (zh) * | 2022-03-17 | 2022-06-24 | 合肥学院 | 一种铝材表面缺陷检测方法、存储介质及计算机系统 |
| KR20230137788A (ko) * | 2022-03-22 | 2023-10-05 | 광동 유에하이 워터 서비스 인베스트먼트 컴퍼니 리미티드 | 셀프 어텐션 메커니즘 기반 다양한 유형의 배관 결함에 대한 검사, 추적 및 계수방법 |
| CN114663436A (zh) * | 2022-05-25 | 2022-06-24 | 南京航空航天大学 | 一种基于深度学习的跨尺度缺陷检测方法 |
| CN115272252A (zh) * | 2022-08-02 | 2022-11-01 | 南京航空航天大学 | 一种基于改进yolox的碳纤维缺陷的检测方法、装置及系统 |
| CN115760734A (zh) * | 2022-11-08 | 2023-03-07 | 南京信息工程大学 | 一种基于改进retinanet算法的带钢表面缺陷检测方法 |
| CN115565148A (zh) * | 2022-11-09 | 2023-01-03 | 福思(杭州)智能科技有限公司 | 道路图像的检测方法、装置、存储介质和电子装置 |
| CN116402821A (zh) * | 2023-06-08 | 2023-07-07 | 湖南大学 | 一种基于神经网络的飞机蒙皮涂胶质量缺陷检测方法 |
| CN117094999A (zh) * | 2023-10-19 | 2023-11-21 | 南京航空航天大学 | 一种跨尺度缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| XUAN ZHENG等: "Lightweight Bridge Crack Detection Method Based on SegNet and Bottleneck Depth-Separable Convolution With Residuals", 《IEEE ACCESS》, vol. 9, 14 December 2021 (2021-12-14), pages 161649, XP011893536, DOI: 10.1109/ACCESS.2021.3133712 * |
| 宣扬 等: "基于改进的无锚框目标检测算法的涡检测", 《JOURNAL OF DATA ACQUISITION AND PROCESSING》, vol. 38, no. 01, 31 January 2023 (2023-01-31), pages 150 - 161 * |
| 闫号 等: "基于多源图像融合的光伏面板缺陷检测", 《红外技术》, vol. 45, no. 05, 31 May 2023 (2023-05-31), pages 488 - 497 * |
| 黄梦涛 等: "基于改进Canny 算子的锂电池极片表面缺陷检测", 《仪器仪表学报》, vol. 42, no. 10, 31 October 2021 (2021-10-31), pages 199 - 209 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117576095B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN111260688A (zh) | 一种孪生双路目标跟踪方法 | |
| CN111768388A (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN117593304B (zh) | 基于交叉局部全局特征的半监督工业品表面缺陷检测方法 | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN117094999B (zh) | 一种跨尺度缺陷检测方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| Fan et al. | Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects | |
| CN110660048A (zh) | 一种基于形状特征的皮革表面缺陷检测算法 | |
| CN114037684A (zh) | 一种基于yolov5和注意力机制模型的疵点检测方法 | |
| CN114066810A (zh) | 一种包装盒凹凸点缺陷检测方法及装置 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| CN116824294A (zh) | 一种基于小目标识别的焊料缺陷检测方法及系统 | |
| CN117576095B (zh) | 一种多尺度学习任务的金属表面缺陷检测和分类方法 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| CN115909157A (zh) | 一种基于机器视觉的识别检测方法、装置、设备及介质 | |
| CN114964206A (zh) | 一种单目视觉里程计目标位姿检测方法 | |
| CN114170202A (zh) | 基于面阵结构光3d视觉的焊缝分割与铣削判别方法及装置 | |
| CN111640071A (zh) | 基于卷积神经网络修复帧差法获取全景前景目标的方法 | |
| Piao et al. | Dynamic fusion network for light field depth estimation | |
| CN113159020B (zh) | 基于核尺度扩张的文本检测方法 | |
| CN112818965B (zh) | 多尺度影像目标检测方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Jun Inventor after: Lin Ziyu Inventor after: Shan Zhongde Inventor after: Pu Chenghan Inventor after: Cai Shengyan Inventor before: Wang Jun Inventor before: Cai Shengyan Inventor before: Shan Zhongde Inventor before: Pu Chenghan Inventor before: Lin Ziyu |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |