CN114519803A - 一种基于迁移学习的小样本目标识别方法 - Google Patents
一种基于迁移学习的小样本目标识别方法 Download PDFInfo
- Publication number
- CN114519803A CN114519803A CN202210076849.1A CN202210076849A CN114519803A CN 114519803 A CN114519803 A CN 114519803A CN 202210076849 A CN202210076849 A CN 202210076849A CN 114519803 A CN114519803 A CN 114519803A
- Authority
- CN
- China
- Prior art keywords
- surface defect
- loss
- glass surface
- data set
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013526 transfer learning Methods 0.000 title claims abstract description 30
- 230000007547 defect Effects 0.000 claims abstract description 136
- 239000011521 glass Substances 0.000 claims abstract description 83
- 238000012549 training Methods 0.000 claims abstract description 37
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 28
- 239000010959 steel Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 12
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 206010037180 Psychiatric symptoms Diseases 0.000 claims description 3
- 230000002427 irreversible effect Effects 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000008014 freezing Effects 0.000 description 4
- 238000007710 freezing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000005496 tempering Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明属于图像处理技术领域，具体涉及一种基于迁移学习的小样本目标识别方法，其包括以下步骤，S1、对玻璃缺陷样本分成划痕、崩边以及脏污三个类别进行图像采样，获取样本图像；S2、将样本图像制作成样本数据集；S3、构建玻璃表面缺陷模型，用热轧带钢表面缺陷数据集作为特征输入对玻璃表面缺陷模型进行预训练，获得玻璃表面模型的初始权重；S4、获取热轧带钢表面缺陷数据集，采用迁移学习方法，将样本数据集对玻璃表面缺陷模型进行训练，获得优化后的玻璃表面缺陷模型；S5、将待检测玻璃图像输入玻璃表面缺陷模型，获取待检测玻璃的缺陷类别。本发明提供的小样本目标识别方法可以有效的解决数据样本量小的问题。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于迁移学习的小样本目标识别方法。
背景技术
在工业应用领域复杂的深加工过程中，如原片平板玻璃进深加工一般需要经过切割、磨边、清洗、抛光等工序，有些还需要经过钻孔、印刷和钢化等，由于受技术条件、生产环境或人为因素的影响，均可能出现缺陷。
深度学习中的目标检测模型可以用于实现缺陷检测、目标定位以及尺寸测量等任务，是缺陷检测领域可以被采用的一种检测手段，通过对图片中待检测目标的位置标注，利用深度卷积神经对缺陷的特征进行提取，训练完成输出目标检测模型，完成对缺陷检测的识别和分类。但深度学习是一种对数据量要求较高的一种技术，其能获得出色的效果主要依赖于大量的带类标签的训练样本，而在现实的工业应用领域中并没有足够的带类标签的样本，或者获得大量带有标签样本的成本非常高昂。因此，需提供一种用于缺陷检测的小样本目标识别方法。
发明内容
本发明针对工业应用领域中，用于目标检测的数据样本量小的问题，提供一种基于迁移学习的小样本目标识别方法。
一种基于迁移学习的小样本目标识别方法，包括以下步骤，
S1、对玻璃缺陷样本分成划痕、崩边以及脏污三个类别进行图像采样，获取样本图像；
S2、将样本图像制作成样本数据集；
S3、构建玻璃表面缺陷模型；
S4、获取热轧带钢表面缺陷数据集，采用迁移学习方法，将热轧带钢表面缺陷数据集作为特征输入对玻璃表面缺陷模型进行预训练，获得玻璃表面模型的初始权重；用样本数据集对玻璃表面缺陷模型进行训练，获得优化后的玻璃表面缺陷模型。
S5、将待检测玻璃图像输入玻璃表面缺陷模型，获取待检测玻璃的缺陷类别。
此方法中，利用迁移学习方法，借助热轧带钢表面缺陷数据集获得特征参数的同时保持与目标对象数据集的相关性，可以有效的解决数据样本量小的问题，并且能加速玻璃表面缺陷模型的训练、改善玻璃表面缺陷检测模型的检测效果。
进一步的，所述S2包括：
提取样本图像的高亮部分；对样本图像的连通域进行分割，选取整个玻璃表面区域并显示；
将样本数据集按照yolo的格式进行标签的制作；
将样本数据集按比例划分为训练集、测试集和验证集。
进一步的，所述S3包括：
以CSPDakeNet网络为作为BackBone主干网络，构建玻璃表面缺陷模型，所述CSPDakeNet网络级联多个残差块。
进一步的，所述残差块由两个部分组成，其中一部分由卷积块、BN层以及Mish激活函数组成，对图像特征进行抽象提取，缺陷特征信息不可逆，另一部分直接对图像特征进行获取，处理完成后，两部分的特征向量相加融合。
进一步的，在BackBone主干网络中加入注意力机制模块CBAM；所述注意力机制模块CBAM的输入为F，所述F为中间层的feature map，每个CSPDacknet模块均包括中间层；所述中间层位于CSPDacknet模块中的两个CBM层之间，所述注意力机制模块CBAM依次生成一维通道Mc和二维通道Ms；所述注意力机制模块CBAM的输出特征为最终注意力权重F′；。
Mc(F)＝σ(MLP(avgpool(F))+MLP(maxpool(F)))
Ms(F)＝σ(f7×7([avgpool(F)；maxpool(F)]))
F′＝Ms(Mc(F)F)×(Mc(F)F)
式中Mc(F)为在channel维度上做attention提取操作，MLP(avgpool(F))为通过多层感知机模块的平均池化，MLP(maxpool(F))为通过多层感知机模块的最大池化；σ为sigmoid函数
Ms(F)为在spatial维度上做attention提取操作；f7×7([avgpool(F)；maxpool(F)])为滤波器尺寸为7×7的卷积运算；avgpool(F)为对F进行平均池化；
maxpool(F)为对F进行最大池化；
Ms(Mc(F)F)为权重系数；(Ms(F)F)为输入特征。
进一步的，所述获取热轧带钢表面缺陷数据集包括收集热轧带钢公开的缺陷图片，将缺陷图片统一缩放到416*416的尺寸，对缺陷图片进行图像增强，获得热轧带钢表面缺陷数据集；所述图像增强包括突出缺陷特征和扩增热轧带钢表面缺陷数据集的样本数量；采用频域增强算法突出缺陷特征；通过旋转、翻转、添加噪声扩增热轧带钢表面缺陷数据集的样本数量。
进一步的，所述迁移学习方法为载入热轧带钢表面缺陷数据集训练的模型权重作为玻璃表面缺陷模型的初始权重，冻住前部分残差块的网络层，用样本数据集训练后部分残差块的网络层。
进一步的，所述S4还包括：
构建损失函数；
结合损失函数和SGDM动量梯度下降方法对玻璃表面缺陷模型进行优化训练，总训练轮数达到预设值后停止训练，获得优化后的玻璃表面缺陷模型；
采用验证集作为玻璃表面缺陷模型的评估指标，对优化训练后的迁玻璃表面缺陷模型进行评估；
采用测试集对优化训练后的玻璃表面缺陷模型进行测试。
进一步的，所损失函数为
Losstotal＝Losslocation+Lossconf+Lossclass
式中：Losstotal为总损失值；Losslocation为预测框与真实框的误差损失；Lossconf为置信度损失；Lossclass为类别损失；
使用二值交叉熵损失函数计算置信度损失Lossconf与类别损失Lossclass；
使用CIOU损失计算box的损失，公式如下
式中：α为权重参数，v为宽高比一致性参数，ω为box的宽，h为box的高，gt为真实框的信息；IoU为交并比，ρ为欧几里得度量，c为对角线长度，A为预测框，B为目标框。
进一步的，所述SGDM动量梯度下降方法为在随机梯度下降的方法上引入动量Momentum；
mt＝β×mt-1+(1-β)×gt
式中，mt为t时刻一介动量，β为衰减系数，β取值为0.9：mt-1为t的上一时刻动量；gt为下降梯度值。
有益效果：本发明提供的基于迁移学习的小样本目标识别方法，热轧带钢表面缺陷数据集采用公开的缺陷图片数据集，利用迁移学习方法，借助热轧带钢表面缺陷数据集获得特征参数的同时保持与目标对象数据集的相关性，可以有效的解决数据样本量小的问题，并且能加速玻璃表面缺陷模型的训练、改善玻璃表面缺陷检测模型的检测效果。
附图说明
下面结合附图和具体实施例对本发明作出进一步详细说明。
图1为基于迁移学习的小样本目标识别方法流程图。
图2为注意力框架模块CBAM的框架图。
图3为BackBone主干网络的结构图。
图4为迁移学习的过程示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例
本实施例以玻璃表面缺陷为例，提供一种基于迁移学习的小样本目标识别方法，其包括以下步骤。
S1、搭建工业相机图像采集平台，对玻璃缺陷样本分成划痕、崩边以及脏污三个类别进行图像采样，获取样本图像；在实验样本有限的条件下，对每个样本进行重复采样，获得各类样本图像的数量分别为400个。
为避免在光源的照射下空中的灰尘落入玻璃表面时，系统误识别为缺陷，本实施例选择在超净台的空间内完成图像采集平台的搭建以及后续数据集的制作。
S2、将样本图像制作成样本数据集；包括以下步骤，
对样本图像的阈值进行选择，提取图中的高亮部分；对样本图像连通域进行分割，选取整个玻璃表面区域并显示，从而去除样本图像中的干扰因素；
将样本图像制作成样本数据集；并通过labelmg软件将样本数据集按照yolo的格式进行标签的制作；
将玻璃表面数据集按8∶1∶1的比例划分为训练集、测试集和验证集。
S3、构建玻璃表面缺陷检测模型；
具体为：
以CSPDakeNet网络为作为BackBone主干网络，构建玻璃表面缺陷模型，所述CSPDakeNet网络级联五个残差块，各残差块对应的个数分别为1、2、8、8、4，分别对应了五次下采样的操作；所述残差块包括卷积层、BN层以及Mish激活函数。在BackBone主干网络中加入注意力机制模块CBAM；所述注意力机制模块CBAM的输入为F，所述F为中间层的featuremap，每个CSPDacknet模块均包括中间层；所述中间层位于CSPDacknet模块中的两个CBM层之间；所述注意力机制模块CBAM依次生成一维通道Mc和二维通道Ms；所述注意力机制模块CBAM的输出特征为最终注意力权重F′；CBAM框架图如图2所示，BackBone主干网络结构图如图3所示。
Mc(F)＝σ(MLP(avgpool(F))+MLP(maxpool(F)))
Ms(F)＝σ(f7×7([avgpool(F)；maxpool(F)]))
F′＝Ms(Mc(F)F)×(Ms(F)F)
式中Mc(F)为在channel维度上做attention提取操作，MLP(avgpool(F))为通过多层感知机模块的平均池化，MLP(maxpool(F))为通过多层感知机模块的最大池化；σ为sigmoid函数
Ms(F)为在spatial维度上做attention提取操作；f7×7([avgpool(F)；maxpool(F)])为滤波器尺寸为7×7的卷积运算；avgpool(F)为对F进行平均池化；maxpool(F)对F进行最大池化；
Ms(Mc(F)F)为权重系数；(Ms(F)F)为输入特征。
加入注意力模块之后，BackBone主干网络更能将注意力集中到玻璃缺陷样本的位置上，所以在加入注意力模块之后，玻璃表面缺陷模型能将提取的有效信息更加集中于玻璃缺陷样本上，而非盲目地搜索。
每个残差块由两个部分组成，其中一部分由卷积块、BN层以及Mish激活函数组成，对图像特征进行抽象提取，缺陷特征信息不可逆，另一部分不进行操作，直接对图像特征进行获取，处理完成后，两部分的特征向量相加融合。
S4、采用迁移学习方法，用热轧带钢表面缺陷数据集作为特征输入对玻璃表面缺陷模型进行预训练，获得玻璃表面模型的初始权重；用样本数据集对玻璃表面缺陷模型进行训练，获得优化后的玻璃表面缺陷模型；
所述迁移学习主要分为三种：(1)载入玻璃表面缺陷模型的初始权重后，训练所有参数；(2)载入玻璃表面缺陷模型的初始权重后，训练最后几层模型权重weight和偏置bias；(3)载入玻璃表面缺陷模型的初始权重后，在原网络基础上再添加一层全连接层，仅训练最后一个全连接层。
由于目前样本数据集的数据量较小，为了让缺陷特征能更充分的学习到缺陷，本实施例的迁移学习方法为载将使用热轧带钢表面缺陷数据集训练得到的模型作为玻璃表面缺陷模型的初始权重；冻住前四大残差块的网络层，即前85层；用样本数据集训练后四大残差块的网络层，即针对小样本学习场景调整参数，以适应新的缺陷特征，使CSPDakeNet网络在借助热轧带钢表面缺陷数据集获得特征参数的同时保持了与样本数据集的相关性。
因热轧带钢表面缺陷与玻璃表面的特征较为相近，故本实施例采用热轧带钢表面缺陷数据集作为对玻璃表面缺陷模型进行预训练；收集热轧带钢公开的缺陷图片，将缺陷图片统一缩放到416*416的尺寸，对缺陷图片进行图像增强，获得热轧带钢表面缺陷数据集。
图像增强包括突出缺陷特征和扩增热轧带钢表面缺陷数据集的样本数量；突出缺陷特征的图像增强方式有频域与时域两大类，为更加凸显目标缺陷区域的特征，本实施例采用频域增强算法对缺陷图片进行预处理；即使用傅里叶变换和高低通滤波等方法实现，通过抑制低频分量、增强高频分量来减少光照变换并锐化边缘细节，凸显缺陷图片的缺陷特征。通过旋转、翻转、添加噪声等扩增热轧带钢表面缺陷数据集的样本数量，添加噪声为了防止模型过拟合，可以提高样本的多样性和复杂性，提高模型检测能力。
为公开的缺陷图片数据集。所述热轧带钢表面缺陷数据集一部分经过卷积层、BN层以及Mish激活函数作为第一输入；所述热轧带钢表面缺陷数据集的另一部分直接作为第二输入，第一输入与第二输入进行特征融合后作为玻璃表面缺陷模型的特征输入。
具体包括以下步骤：
将热轧带钢表面缺陷数据集中的原始图像裁剪到618*618*3的大小作为玻璃表面缺陷模型的输入，采用特征提取器进行特征提取，提取特征后经过SPP+PAN对不同尺度的特征信息进行融合操作，划分出76*76、39*39、19*19这三个尺度的网格区域，在每个网格区域内预测三个比例为1∶2，2∶1和1∶3的边界框，得到76*76*21、39*39*21、19*19*21这三个特征向量传入到YOLOv3检测头中，获得玻璃表面模型的初始权重；
模型微调，由于全连接层的参数的随机的，所以需要对其进行初始化操作，使用Xavie均匀分布进行全连接层初始化。
冻结层，主要冻结前四个残差块的网络层，获取他们的网络层的权重weight和偏置bias，不再获取其更新的梯度信息，意味着不会进行反向传播更新参数，相当于冻结了这些网络层的参数，数值保持不变；并用样本数据集训练后部分残差块的网络层，对后部分残差块的网络层进行参数更新。
构建损失函数，所损失函数为
Losstotal＝Losslocation+Lossconf+Lossclass
式中：Losstotal为总损失值；Losslocation为预测框与真实框的误差损失；Lossconf为置信度损失；Lossclass为类别损失；
使用二值交叉熵损失函数计算置信度损失Lossconf与类别损失Lossclass；
充分考虑边界重叠面积、中心点位置和宽高比等信息，本专利使用CIOU损失计算box的损失，公式如下：
式中：α为权重参数，v为宽高比一致性参数，ω为预测框的宽，h为预测框的高，gt为真实框的信息；
IoU为交并比，ρ为欧几里得度量，c为对角线长度，A为预测框，B为目标框，
模型优化训练，结合损失函数和SGDM动量梯度下降方法对玻璃表面缺陷模型进行优化训练；所述SGDM动量梯度下降方法为在随机梯度下降的方法上引入动量Momentum，并设置参数β为0.9，初始学习率为0.0001；
mt＝β×mt-1+(1-β)×gt
所述mt为t时刻一介动量，所述β为衰减系数，β取值为0.9，所述mt-1为t的上一时刻动量；所述gt为梯度下降值；
此方法利用两次训练间隔的梯度变化，使其梯度变化不只与当前的梯度相关，参数更新就可以保持之前更新趋势，而不会卡在当前梯度较小的点。每训练10个epochs将学习率调整至原值的0.1倍；总训练轮数达100个epochs后，停止训练，获得优化后的玻璃表面缺陷模型；
模型评估，采用验证集作为玻璃表面缺陷模型的评估指标，本实施例的硬件为RTX2020GPU，软件环境为Ubuntu16.04操作系统，基于Python脚本语言，Pytorch1.8深度学习框架和Pycharm开发平台对优化训练后的玻璃表面缺陷模型进行评估；
模型测试，采用测试集对优化训练后的玻璃表面缺陷模型进行测试，判断优化训练后的玻璃表面缺陷模型效果，满足检测条件即获得优化后的玻璃表面缺陷模型。
此实施例中，热轧带钢表面缺陷数据集采用公开的缺陷图片数据集，利用迁移学习方法，借助热轧带钢表面缺陷数据集获得特征参数的同时保持与目标对象数据集的相关性，可以有效的解决数据样本量小的问题，并且能加速玻璃表面缺陷模型的训练、改善玻璃表面缺陷检测模型的检测效果；BackBone主干网络中加入注意力机制模块CBAM，可优化玻璃表面缺陷模型，增强网络感受野，对特征进行自适应细化处理；构件损失函数，加强玻璃表面缺陷模型的收敛效果以及对玻璃表面缺陷模型准确度的有效评估。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于迁移学习的小样本目标识别方法，其特征在于，包括以下步骤，
S1、对玻璃缺陷样本分成划痕、崩边以及脏污三个类别进行图像采样，获取样本图像；
S2、将样本图像制作成样本数据集；
S3、构建玻璃表面缺陷模型；
S4、获取热轧带钢表面缺陷数据集，采用迁移学习方法，将热轧带钢表面缺陷数据集作为特征输入对玻璃表面缺陷模型进行预训练，获得玻璃表面模型的初始权重；用样本数据集对玻璃表面缺陷模型进行训练，获得优化后的玻璃表面缺陷模型；
S5、将待检测玻璃图像输入玻璃表面缺陷模型，获取待检测玻璃的缺陷类别。
2.根据权利要求1所述的基于迁移学习的小样本目标识别方法，其特征在于，所述S2包括：
提取样本图像的高亮部分；对样本图像的连通域进行分割，选取整个玻璃表面区域并显示；
将样本数据集按照yolo的格式进行标签的制作；
将样本数据集按比例划分为训练集、测试集和验证集。
3.根据权利要求2所述的基于迁移学习的小样本目标识别方法，其特征在于，所述S3包括：
以CSPDakeNet网络为作为BackBone主干网络，构建玻璃表面缺陷模型，所述CSPDakeNet网络级联多个残差块。
4.根据权利要求3所述的基于迁移学习的小样本目标识别方法，其特征在于，所述残差块由两个部分组成，其中一部分由卷积块、BN层以及Mish激活函数组成，对图像特征进行抽象提取，缺陷特征信息不可逆，另一部分直接对图像特征进行获取，处理完成后，两部分的特征向量相加融合。
5.根据权利要求4所述的基于迁移学习的小样本目标识别方法，其特征在于，在BackBone主干网络中加入注意力机制模块CBAM；所述注意力机制模块CBAM的输入为F，所述F为中间层的feature map，每个CSPDacknet模块均包括中间层；所述中间层位于CSPDacknet模块中的两个CBM层之间，所述注意力机制模块CBAM依次生成一维通道Mc和二维通道Ms；所述注意力机制模块CBAM的输出特征为最终注意力权重F′；
Mc(F)＝σ(MLP(avgpool(F))+MLP(maxpool(F)))
Ms(F)＝σ(f7×7([avgpool(F)；maxpool(F)]))
F′＝Ms(Mc(F)F)×(Mc(F)F)
式中Mc(F)为在channel维度上做attention提取操作，MLP(avgpool(F))为通过多层感知机模块的平均池化，MLP(maxpool(F))为通过多层感知机模块的最大池化；σ为sigmoid函数；
Ms(F)为在spatial维度上做attention提取操作；f7×7([avgpool(F)；maxpool(F)])为滤波器尺寸为7×7的卷积运算；avgpool(F)为对F进行平均池化；
maxpool(F)为对F进行最大池化；
Ms(Mc(F)F)为权重系数；(Ms(F)F)为输入特征。
6.根据权利要求5所述的基于迁移学习的小样本目标识别方法，其特征在于，所述获取热轧带钢表面缺陷数据集包括收集热轧带钢公开的缺陷图片，将缺陷图片统一缩放到416*416的尺寸，对缺陷图片进行图像增强，获得热轧带钢表面缺陷数据集；
所述图像增强包括突出缺陷特征和扩增热轧带钢表面缺陷数据集的样本数量；采用频域增强算法突出缺陷特征；通过旋转、翻转、添加噪声扩增热轧带钢表面缺陷数据集的样本数量。
7.根据权利要求6所述的基于迁移学习的小样本目标识别方法，其特征在于，所述迁移学习方法为载入热轧带钢表面缺陷数据集训练的模型权重作为玻璃表面缺陷模型的初始权重，冻住前部分残差块的网络层，用样本数据集训练后部分残差块的网络层。
8.根据权利要求7所述的基于迁移学习的小样本目标识别方法，其特征在于，所述S4还包括：
构建损失函数；
结合损失函数和SGDM动量梯度下降方法对玻璃表面缺陷模型进行优化训练，总训练轮数达到预设值后停止训练，获得优化后的玻璃表面缺陷模型；
采用验证集作为玻璃表面缺陷模型的评估指标，对优化训练后的迁玻璃表面缺陷模型进行评估；
采用测试集对优化训练后的玻璃表面缺陷模型进行测试。
9.根据权利要求8所述的基于迁移学习的小样本目标识别方法，其特征在于，所损失函数为
Losstotal＝Losslocation+Lossconf+Lossclass
式中：Losstotal为总损失值；Losslocation为预测框与真实框的误差损失；Lossconf为置信度损失；Lossclass为类别损失；
使用二值交叉熵损失函数计算置信度损失Lossconf与类别损失Lossclass；
使用CIOU损失计算box的损失，公式如下
式中：α为权重参数，v为宽高比一致性参数，ω为box的宽，h为box的高，gt为真实框的信息；IoU为交并比，ρ为欧几里得度量，c为对角线长度，A为预测框，B为目标框。
10.根据权利要求9所述的基于迁移学习的小样本目标识别方法，其特征在于，所述SGDM动量梯度下降方法为在随机梯度下降的方法上引入动量Momentum；
mt＝β×mt-1+(1-β)×gt
式中，mt为t时刻一介动量，β为衰减系数，β取值为0.9：mt-1为t的上一时刻动量；gt为下降梯度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210076849.1A CN114519803A (zh) | 2022-01-24 | 2022-01-24 | 一种基于迁移学习的小样本目标识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210076849.1A CN114519803A (zh) | 2022-01-24 | 2022-01-24 | 一种基于迁移学习的小样本目标识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114519803A true CN114519803A (zh) | 2022-05-20 |
Family
ID=81596901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210076849.1A Pending CN114519803A (zh) | 2022-01-24 | 2022-01-24 | 一种基于迁移学习的小样本目标识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114519803A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115037641A (zh) * | 2022-06-01 | 2022-09-09 | 网络通信与安全紫金山实验室 | 基于小样本的网络流量检测方法、装置、电子设备及介质 |
| CN116109627A (zh) * | 2023-04-10 | 2023-05-12 | 广东省科技基础条件平台中心 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270722A (zh) * | 2020-10-26 | 2021-01-26 | 西安工程大学 | 一种基于深度神经网络的数码印花织物缺陷检测方法 |
| CN112464971A (zh) * | 2020-04-09 | 2021-03-09 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| CN112466298A (zh) * | 2020-11-24 | 2021-03-09 | 网易（杭州）网络有限公司 | 语音检测方法、装置、电子设备和存储介质 |
| CN112819766A (zh) * | 2021-01-25 | 2021-05-18 | 武汉理工大学 | 一种桥梁缺陷检修方法、设备、系统及存储介质 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
-
2022
- 2022-01-24 CN CN202210076849.1A patent/CN114519803A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112464971A (zh) * | 2020-04-09 | 2021-03-09 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| CN112270722A (zh) * | 2020-10-26 | 2021-01-26 | 西安工程大学 | 一种基于深度神经网络的数码印花织物缺陷检测方法 |
| CN112466298A (zh) * | 2020-11-24 | 2021-03-09 | 网易（杭州）网络有限公司 | 语音检测方法、装置、电子设备和存储介质 |
| CN112819766A (zh) * | 2021-01-25 | 2021-05-18 | 武汉理工大学 | 一种桥梁缺陷检修方法、设备、系统及存储介质 |
| CN113344847A (zh) * | 2021-04-21 | 2021-09-03 | 安徽工业大学 | 一种基于深度学习的长尾夹缺陷检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| SANGHYUN WOO等: "CBAM: Convolutional Block Attention Module", 《ARXIV》 * |
| ZHANGH: ""YOLOv4解析"", 《知乎》 * |
| 桑塔努•帕塔纳雅克: "《TensorFlow深度学习：数学原理与Python实践进阶》" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115037641A (zh) * | 2022-06-01 | 2022-09-09 | 网络通信与安全紫金山实验室 | 基于小样本的网络流量检测方法、装置、电子设备及介质 |
| CN115037641B (zh) * | 2022-06-01 | 2024-05-03 | 网络通信与安全紫金山实验室 | 基于小样本的网络流量检测方法、装置、电子设备及介质 |
| CN116109627A (zh) * | 2023-04-10 | 2023-05-12 | 广东省科技基础条件平台中心 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
| CN116109627B (zh) * | 2023-04-10 | 2023-08-01 | 广东省科技基础条件平台中心 | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
| CN114519803A (zh) | 一种基于迁移学习的小样本目标识别方法 | |
| CN111488921B (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN111709416B (zh) | 车牌定位方法、装置、系统及存储介质 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111814704A (zh) | 基于级联注意力与点监督机制的全卷积考场目标检测方法 | |
| CN110874590B (zh) | 基于适配器互学习模型的训练及可见光红外视觉跟踪方法 | |
| CN113724842B (zh) | 一种基于注意力机制的宫颈组织病理辅助诊断方法 | |
| CN113705655B (zh) | 三维点云全自动分类方法及深度神经网络模型 | |
| CN113393461B (zh) | 基于深度学习的分裂中期染色体图像质量筛选方法和系统 | |
| CN112215831B (zh) | 一种用于人脸图像质量的评价方法和系统 | |
| CN113255447B (zh) | 脑电信号解码方法、装置、设备及计算机可读存储介质 | |
| CN112819821A (zh) | 一种细胞核图像检测方法 | |
| CN112507920A (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
| CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
| CN109117849A (zh) | 深度学习技术在车站列车运行监测预警系统的应用 | |
| CN116740384A (zh) | 洗地机的智能控制方法及系统 | |
| CN112766145B (zh) | 人工神经网络的人脸动态表情识别方法及装置 | |
| CN116523916B (zh) | 产品表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN106682604B (zh) | 一种基于深度学习的模糊图像检测方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN113112482A (zh) | 一种基于注意力机制网络的pcb缺陷检测方法 | |
| CN111754497A (zh) | 一种基于几何代数的工业缺陷检测方法和系统 | |
| JP2021165909A (ja) | 情報処理装置、情報処理装置の情報処理方法およびプログラム | |
| US20230245495A1 (en) | Face recognition systems data collection process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220520 |
|
| RJ01 | Rejection of invention patent application after publication |