CN113888477A - 网络模型的训练方法、金属表面缺陷检测方法及电子设备 - Google Patents
网络模型的训练方法、金属表面缺陷检测方法及电子设备 Download PDFInfo
- Publication number
- CN113888477A CN113888477A CN202111068474.6A CN202111068474A CN113888477A CN 113888477 A CN113888477 A CN 113888477A CN 202111068474 A CN202111068474 A CN 202111068474A CN 113888477 A CN113888477 A CN 113888477A
- Authority
- CN
- China
- Prior art keywords
- training
- metal surface
- network
- surface defect
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 113
- 238000012549 training Methods 0.000 title claims abstract description 112
- 238000001514 detection method Methods 0.000 title claims abstract description 106
- 239000002184 metal Substances 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000000137 annealing Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种网络模型的训练方法、金属表面缺陷检测方法及电子设备，属于缺陷检测相关技术领域，该训练方法包括：获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；采用过采样方法对训练样本进行数据增强，得到训练集；利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；使用NEU‑DET数据集作为预训练数据集，送入轻量级目标检测网络中，得到改进的轻量级目标检测网络；将所述训练集输入改进的轻量级目标检测网络中进行训练，得到轻量级目标检测网络模型。本发明有效能够实现大规模金属表面小缺陷的自动检测，具有较高的准确率，并且具有轻量级，高精度图片实时监测等特点，能够运用于工业场景。
Description
技术领域
本申请属于缺陷检测相关技术邻域，特别地涉及一种网络模型的训练方法、金属表面缺陷检测方法及电子设备。
背景技术
在金属的实际生产过程中，由于各方面因素的影响，金属表面会产生划痕、凹槽等缺陷，这些缺陷会严重影响金属的质量。为保证产品质量，需要人工进行肉眼目测。然而，金属的表面自身会含有纹路、钻孔及油污等，与缺陷的区分度不高。传统人工肉眼检查十分费力，不能及时准确的判断出表面缺陷，质检的效率难以把控。
近年来，基于深度卷积网络的算法产生了巨大的影响，在目标检测领域，有FasterR-CNN为代表的两阶段检测器，SSD和YOLO为代表的单阶段检测器，其中YOLO系列速度更快，精度更高，YOLOv4被广泛应用于工业环节。
然而，在实现本申请的过程中，发明人发现相关技术至少存在以下问题：
当前的目标检测算法在提升性能的同时构建了更深更复杂的网络，但是这些网络在尺度和速度上不满足嵌入式设备以及移动设备的需求，在工业领域应用较窄。
当前的目标检测算法都是需要大量数据进行训练的，而实际工业场景下很难采集足量的缺陷目标数据。
工业场景下，金属表面自身含有纹路、钻孔及油污等，与缺陷的区分度不高，且金属表面凹槽缺陷较小，划痕较细较浅，导致大多数检测方法精度不高，容易出现漏检等情况。
发明内容
本申请实施例的目的是提供一种网络模型的训练方法、金属表面缺陷检测方法及电子设备，可用于解决相关技术中的问题。
根据本申请实施例的第一方面，提供一种网络模型的训练方法，包括：
获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
采用过采样方法对所述训练样本进行数据增强，得到训练集；
利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；
使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
将所述训练集输入所述改进的轻量级目标检测网络中进行训练，得到轻量级目标检测网络模型。
进一步地，获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，包括：
获取金属表面不同角度、光照下的图像；
对所述图像中缺陷的关键点位置进行标注；
对所述图像中缺陷的类别进行标注。
进一步地，对金属表面缺陷数据进行数据标注后，还包括：
对标注后的金属表面缺陷数据进行裁剪，裁剪后作为训练样本。
进一步地，采用过采样方法对所述训练样本进行数据增强，包括：
将所述训练样本中标注为缺陷部位的图像扣出，通过opencv复制到没有缺陷的图像上，从而生成新的图像。
进一步地，利用轻量级网络替换目标检测网络主干特征提取网络，得到轻量级目标检测网络，包括：
将目标检测网络主干特征提取网络均改为轻量级网络，取得有效特征层后插入到目标检测网络中，使用轻量级模块替换普通的卷积块，激活函数使用hard sigmoid函数。
根据本申请实施例的第二方面，提供一种金属表面缺陷检测方法，包括：
获取待检测的金属表面缺陷数据；
利用基于第一方面所述的方法训练得到的轻量级目标检测网络模型对所述待检测的金属表面缺陷数据进行检测。
根据本申请实施例的第三方面，提供一种金属表面缺陷检测模型的训练装置，包括：
第一获取模块，用于获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
增强模块，用于采用过采样方法对所述训练样本进行数据增强，得到训练集；
替换模块，用于利用轻量级网络替换目标检测网络主干特征提取网络，得到轻量级目标检测网络；
第一训练模块，用于使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
第二训练模块，用于将所述训练集输入所述改进的轻量级目标检测网络中进行训练，得到金属表面陷检测模型。
根据本申请实施例的第四方面，提供一种金属表面缺陷检测装置，包括：
第二获取模块，用于获取待检测的金属表面缺陷数据；
检测模块，用于利用基于第一方面所述的方法训练得到的轻量级目标检测网络模型对所述待检测的金属表面缺陷数据进行检测。
根据本申请实施例的第五方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的金属表面缺陷检测模型的训练方法，或第二方面所述的金属表面缺陷检测方法。
根据本申请实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述的金属表面缺陷检测模型的训练方法，或第二方面所述的金属表面缺陷检测方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请使用过采样Oversampling的数据增强方法，有效的解决了核心数据集数据量较少的问题以及小缺陷的检测精度。
将目标检测网络主干特征提取网络均改为轻量级网络，取得有效特征层后插入到目标检测网络中作为改变网络，减少了目标检测网络需要地参数，一方面降低大部分计算量，使网络能够在终端运行，另一方面提高检测的准确率。
使用NEU-DET数据集作为预训练数据集，有效地解决了核心数据集数据量较少的问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种网络模型的训练方法的流程图。
图2是根据一示例性实施例示出的采集并标注后的5472*3648像素的全面金属表面图片。
图3是根据一示例性实施例示出的原始金属表面图片及过采样后的图片，其中(a)是实施例中尺寸为1024*1024像素的部分金属表面图片，(b)是图片经过过采样Oversampling数据增强后的数据集图片。
图4是根据一示例性实施例示出的YOLOv4主干特征提取网络CSPDarkNet53结构。
图5是根据一示例性实施例示出的Ghost Module结构。
图6是根据一示例性实施例示出的预训练网络输出的图像。
图7是根据一示例性实施例示出的一种金属表面缺陷检测方法的流程图。
图8是根据一示例性实施例示出的网络输出的图像。
图9是根据一示例性实施例示出的的准确率、召回率及AP曲线，其中(a)、(b)、(c)分别为经过GhostNet-YOLOv4得到的准确率，召回率及AP曲线。
图10是根据一示例性实施例示出的一种网络模型的训练装置的框图。
图11是根据一示例性实施例示出的一种金属表面缺陷检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
图1是根据一示例性实施例示出的一种网络模型的训练方法的流程图，如图1所示，可以包括以下步骤：
步骤S11，获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
步骤S12，采用过采样Oversampling方法对所述训练样本进行数据增强，得到训练集；
步骤S13，利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；
步骤S14，使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
步骤S15，将所述训练集输入所述改进的轻量级目标检测网络中进行训练，得到轻量级目标检测网络模型。
由上述实施例可知，本申请使用过采样Oversampling的数据增强方法，有效的解决了核心数据集数据量较少的问题以及小缺陷的检测精度。将目标检测网络主干特征提取网络均改为轻量级网络，取得有效特征层后插入到目标检测网络中作为改变网络，减少了目标检测网络需要地参数，一方面降低大部分计算量，使网络能够在终端运行，另一方面提高检测的准确率。使用NEU-DET数据集作为预训练数据集，有效地解决了核心数据集数据量较少的问题。
在步骤S11的具体实施中，获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；该步骤可以包括以下子步骤：
步骤S111，获取金属表面不同角度、光照下的图像；
具体的，将金属放于桌面，利用高精度相机，采集高精度，大规模金属表面不同角度、光照下的图像，具体大小为5472*3648，如图2所示。
步骤S112，对所述图像中缺陷的关键点位置进行标注；
具体地，在原图上使用LabelImg进行多种缺陷的标注，标注格式为关键点的横向、纵向坐标值。
步骤S113，对所述图像中缺陷的类别进行标注。
具体地，进行缺陷类别标签的标注，标注格式为不同缺陷类别的名称，具体为凹槽(groove)与划痕(scratch)；
对金属表面缺陷数据进行数据标注后，还包括：
步骤S114，对标注后的金属表面缺陷数据进行裁剪，裁剪后作为训练样本。
具体地，将大规模金属表面图像根据缺陷位置裁剪为1024*1024大小的图片，之后可生成包含金属表面缺陷信息的xml格式文件。
在步骤S12的具体实施中，采用过采样方法对所述训练样本进行数据增强，得到训练集；
具体地，将所述训练样本中标注为缺陷部位的图像扣出，通过opencv复制到没有缺陷的图像上，从而生成新的图像，将所有图像进行划分得到训练集。更具体的步骤如下：
(1)遍历所有缺陷文件，如果缺陷所占像素大小小于等于32个像素点，则认为是小缺陷目标，将其从图片中裁剪出并保存。
(2)将裁剪出的图像经过随机反转、噪声等之后均匀的黏贴在无缺陷图片上，每张图8个新缺陷，且不与其他缺陷重合，如图3所示。
在步骤S13的具体实施中，利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；
常规的CNN推理，由于需要很大的计算量，很难应用在移动端，物联网等资源受限的场景中。只有通过复杂的裁剪，量化才有可能勉强部署到移动端。目前比较成熟的轻量级网络有：google的MobileNet系列，EfficientNet Lite系列，旷世的ShuffleNet系列，华为的GhostNet等。本实例中使用GhostNet为例。目标检测算法有Faster R-CNN为代表的两阶段检测器，SSD和YOLO为代表的单阶段检测器，其中YOLO系列速度更快，精度更高，YOLOv4被广泛应用于工业环节。
具体地，将YOLOv4主干特征提取网络CSPDarkNet53均改为GhostNet网络，取得三个有效特征层后插入到YOLOv4中，使用GhostModule方法替换普通的卷积块。如图5所示，GhostModule将普通卷积分为三步，常规卷积生成本征特征图，Ghost生成以及特征图的拼接。具体地，首先将本征特征图与Ghost特征图层数设置相同，其次Ghost生成使用3*3普通卷积将本征特征图线性变换为Ghost特征图，最后使用concat将本征特征图与Ghost特征图拼接在一起，生成最后的输出。
其中CSPDarkNet53结构如图4所示，该网络共有五个残差边部分，最后三个残差边会输出三个有效特征层。当输入为416*416*3时，第三第四第五个残差边分别输出52*52,26*26,13*13大小的特征图。而实例中GhostNet的卷积块如表1所示：
表1
其中k为卷积核大小，t为升维比例，c为输出通道数，SE为SE结构，s代表压缩倍数
当输入为416*416*3时，经过Stage3输出52*52*40，经过Stage4输出26*26*112，经过Stage5生成13*13*160，替换CSPDarkNet53输出的有效特征层，进行后续深度特征提取。
激活函数使用hard sigmoid函数，具体为：
在步骤S14的具体实施中，使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
本实例中所述轻量级目标检测网络为S13所使用GhostNet-YOLOv4；
具体的，执行此步骤时，将NEU-DET数据集作为神经网络的输入，设置神经网络训练batch大小为8，训练周期epoch为60，学习率为0.001，寻找validation loss最小的网络模型作为预训练结果。预训练输出结果如图6所示。
在步骤S15的具体实施中，将所述训练集输入所述改进的轻量级目标检测网络中进行对抗训练，得到轻量级目标检测网络网络模型。
本实例中所述轻量级目标检测网络为S13所使用GhostNet-YOLOv4。
具体的，执行此步骤时，将金属表面缺陷数据集作为神经网络的输入，设置神经网络训练batch大小为8，初始训练周期epoch为20，冻结280层训练，冻结训练可以加快训练速度，也可以在训练初期防止权值被破坏，学习率为0.001，学习率的变化采用余弦退火衰减。训练结束后，解冻后280周期训练，设置神经网络训练batch大小为4，学习率为0.0001，学习率的变化仍然采用余弦退火衰减。训练结束后，使用validation loss作为模型训练效果的评价标准。
图7是根据一示例性实施例示出的一种金属表面缺陷检测方法的流程图，如图7所示，可以包括以下步骤：
步骤S21，获取待检测的金属表面缺陷数据；
步骤S22，利用上述的方法训练得到的GhostNet-YOLOv4网络模型对所述待检测的金属表面缺陷数据进行检测。
步骤S21获取待检测的金属表面缺陷数据的具体处理可以参考步骤S11，这里不再进行赘述。
在步骤S22具体实施中，利用上述的方法训练得到的GhostNet-YOLOv4网络模型对所述待检测的金属表面缺陷数据进行检测。
具体的，通过向训练完成的GhostNet-YOLOv4中输入金属表面图像、视频，可以迅速对缺陷进行分类及定位。本实例采用AP，精确率(Precision)、召回率(Recall)来评价缺陷检测结果。AP越高，说明网络对金属表面缺陷的检测结果越好。其中AP，精确率(Precision)，召回率(Recall)的计算公式如下：
Precision＝NTP/(NTP+NFP)
Recall＝NTP/(NTP+NFN)
AP为准确率与召回率所围曲线的面积。其中NTP为分类正确的正样本，NFN分类错误的正样本，NFP为分类错误的负样本。本实例实验结果如图8所示。
本实例与常规的YOLOv4进行对比如表2所示。从表中可以看出。与YOLOv4网络相比，GhostNet-YOLOv4在凹槽(groove)缺陷方面AP从66％提升至94％，提高了28％，mAP从；同时YOLOv4的大幅金属图像(5472*3648)检测速度为8.9fps，GhostNet检测速度为25fps，提高了180％。准确率，召回率及AP值如图9所示。运算所需参数从64,040,001降低至11,428,545，降低为原有的17.8％。可以看出与原YOLOv4相比获得了巨大提升。
| 网络模型 | 凹槽AP | 划痕AP | mAP | 检测速度 | 参数量 |
| YOLOv4 | 66％ | 80％ | 72.94％ | 8.9fps | 64040001 |
| GhostNet-YOLOv4 | 94％ | 81％ | 87.76％ | 25fps | 11428545 |
表2
与前述的一种金属表面缺陷检测模型的训练方法的实施例相对应，本申请还提供了一种金属表面缺陷检测模型的训练装置的实施例。
图10是根据一示例性实施例示出的一种金属表面缺陷检测模型的训练装置框图。参照图10，该装置包括：
第一获取模块31，用于获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
增强模块32，用于采用过采样方法对所述训练样本进行数据增强，得到训练集；
替换模块33，用于利用GhostNet网络替换YOLOv4主干特征提取网络，得到GhostNet-YOLOv4网络；
第一训练模块34，用于使用NEU-DET数据集作为预训练数据集，送入所述GhostNet-YOLOv4网络中，得到改进的YOLOv4网络；
第二训练模块35，用于将所述训练集输入所述改进的YOLOv4网络中进行对抗训练，得到金属表面陷检测模型。
与前述的一种金属表面缺陷检测方法的实施例相对应，本申请还提供了一种金属表面缺陷检测装置的实施例。
图11是根据一示例性实施例示出的一种金属表面缺陷检测装置框图。参照图11，该装置包括：
第二获取模块41，用于获取待检测的金属表面缺陷数据；
检测模块42，用于利用上述的方法训练得到的GhostNet-YOLOv4网络模型对所述待检测的金属表面缺陷数据进行检测。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的金属表面缺陷检测模型的训练方法，或金属表面缺陷检测方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的金属表面缺陷检测模型的训练方法，或金属表面缺陷检测方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种网络模型的训练方法，其特征在于，包括：
获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
采用过采样方法对所述训练样本进行数据增强，得到训练集；
利用轻量级网络替换目标检测模型主干特征提取网络，得到轻量级目标检测网络；
使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
将所述训练集输入所述改进的轻量级目标检测网络中进行训练，得到轻量级目标检测网络模型。
2.根据权利要求1所述的训练方法，其特征在于，获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，包括：
获取金属表面不同角度、光照下的图像；
对所述图像中缺陷的关键点位置进行标注；
对所述图像中缺陷的类别进行标注。
3.根据权利要求1所述的训练方法，其特征在于，对金属表面缺陷数据进行数据标注后，还包括：
对标注后的金属表面缺陷数据进行裁剪，裁剪后作为训练样本。
4.根据权利要求1所述的训练方法，其特征在于，采用过采样方法对所述训练样本进行数据增强，包括：
将所述训练样本中标注为缺陷部位的图像扣出，通过opencv复制到没有缺陷的图像上，从而生成新的图像。
5.根据权利要求1所述的训练方法，其特征在于，利用轻量级网络替换目标检测主干特征提取网络，得到轻量级目标检测网络，包括：
将目标检测网络主干特征提取网络均改为轻量级网络，取得三个有效特征层后插入到目标检测网络中，使用轻量级模块替换普通的卷积块，激活函数使用hard sigmoid函数。
6.一种金属表面缺陷检测方法，其特征在于，包括：
获取待检测的金属表面缺陷数据；
利用基于权利要求1-5任一所述的方法训练得到的轻量级目标检测网络模型对所述待检测的金属表面缺陷数据进行检测。
7.一种金属表面缺陷检测模型的训练装置，其特征在于，包括：
第一获取模块，用于获取金属表面缺陷数据，并对金属表面缺陷数据进行标注，得到训练样本；
增强模块，用于采用过采样方法对所述训练样本进行数据增强，得到训练集；
替换模块，用于利用轻量级网络替换目标检测网络模型主干特征提取网络，得到轻量级目标检测网络；
第一训练模块，用于使用NEU-DET数据集作为预训练数据集，送入所述轻量级目标检测网络中，得到改进的轻量级目标检测网络；
第二训练模块，用于将所述训练集输入所述改进的轻量级目标检测网络中进行训练，得到金属表面陷检测模型。
8.一种金属表面缺陷检测装置，其特征在于，包括：
第二获取模块，用于获取待检测的金属表面缺陷数据；
检测模块，用于利用基于权利要求1-5任一所述的方法训练得到的轻量级目标检测网络模型对所述待检测的金属表面缺陷数据进行检测。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5任一项所述的金属表面缺陷检测模型的训练方法，或权利要求6所述的金属表面缺陷检测方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5任一项所述的金属表面缺陷检测模型的训练方法，或权利要求6所述的金属表面缺陷检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068474.6A CN113888477A (zh) | 2021-09-13 | 2021-09-13 | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068474.6A CN113888477A (zh) | 2021-09-13 | 2021-09-13 | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888477A true CN113888477A (zh) | 2022-01-04 |
Family
ID=79009120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111068474.6A Pending CN113888477A (zh) | 2021-09-13 | 2021-09-13 | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888477A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419029A (zh) * | 2022-03-11 | 2022-04-29 | 深圳艾灵网络有限公司 | 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置 |
| CN115082751A (zh) * | 2022-05-07 | 2022-09-20 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
| CN115082751B (zh) * | 2022-05-07 | 2024-10-22 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| CN111986187A (zh) * | 2020-08-26 | 2020-11-24 | 华中科技大学 | 基于改进Tiny-YOLOv3网络的航天电子焊点缺陷检测方法 |
| CN113011365A (zh) * | 2021-03-31 | 2021-06-22 | 中国科学院光电技术研究所 | 一种结合轻量化网络的目标检测方法 |
| CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
-
2021
- 2021-09-13 CN CN202111068474.6A patent/CN113888477A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019233166A1 (zh) * | 2018-06-04 | 2019-12-12 | 杭州海康威视数字技术股份有限公司 | 一种表面缺陷检测方法、装置及电子设备 |
| WO2019232830A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技（深圳）有限公司 | 机场异物检测方法、装置、计算机设备及存储介质 |
| CN111986187A (zh) * | 2020-08-26 | 2020-11-24 | 华中科技大学 | 基于改进Tiny-YOLOv3网络的航天电子焊点缺陷检测方法 |
| CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
| CN113011365A (zh) * | 2021-03-31 | 2021-06-22 | 中国科学院光电技术研究所 | 一种结合轻量化网络的目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 曹远杰等: ""基于 GhostNet 残差结构的轻量化饮料识别网络"", 《计算机工程》, 22 March 2021 (2021-03-22) * |
| 杨海舟;刘妹琴;: "基于目标战略优先级与精度自适应的效能函数的机载多传感器管理", 航空科学技术, no. 04, 25 April 2019 (2019-04-25) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419029A (zh) * | 2022-03-11 | 2022-04-29 | 深圳艾灵网络有限公司 | 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置 |
| CN114419029B (zh) * | 2022-03-11 | 2022-06-24 | 深圳艾灵网络有限公司 | 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置 |
| CN115082751A (zh) * | 2022-05-07 | 2022-09-20 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
| CN115082751B (zh) * | 2022-05-07 | 2024-10-22 | 长春工业大学 | 一种基于改进YOLOv4的可移动机器人目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113239930B (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN113516650B (zh) | 基于深度学习的电路板塞孔缺陷检测方法及装置 | |
| CN111179229A (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
| CN115147409B (zh) | 基于机器视觉的手机壳生产品质检测方法 | |
| CN112700442A (zh) | 基于Faster R-CNN的模切机工件缺陷检测方法和系统 | |
| CN114782391A (zh) | 少样本工业图像缺陷检测模型构建方法、系统及装置 | |
| CN111598877B (zh) | 一种基于生成对抗网络的锂电池表面缺陷检测方法 | |
| CN110245697B (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN111160301A (zh) | 基于机器视觉的隧道病害目标智能识别及提取方法 | |
| CN112750113B (zh) | 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN111353396A (zh) | 一种基于SCSEOCUnet的混凝土裂缝分割方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| CN111144425B (zh) | 检测拍屏图片的方法、装置、电子设备及存储介质 | |
| CN116228746A (zh) | 缺陷检测方法、装置、电子设备、存储介质和程序产品 | |
| CN114663382A (zh) | 基于YOLOv5卷积神经网络的电子元器件表面缺陷检测方法 | |
| CN113888477A (zh) | 网络模型的训练方法、金属表面缺陷检测方法及电子设备 | |
| CN117237683B (zh) | 基于改进神经网络的芯片缺陷智慧检测系统 | |
| CN114299040A (zh) | 瓷砖瑕疵检测方法、装置和电子设备 | |
| CN113516652A (zh) | 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备 | |
| CN117710286A (zh) | 工业视觉大模型的训练方法、装置、电子设备和存储介质 | |
| CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |