CN115861239A

CN115861239A - 一种基于元学习的小样本工业零件表面缺陷检测方法

Info

Publication number: CN115861239A
Application number: CN202211560738.4A
Authority: CN
Inventors: 朴燕; 权炫伍
Original assignee: Changchun University of Science and Technology
Current assignee: Changchun University of Science and Technology
Priority date: 2022-12-09
Filing date: 2022-12-09
Publication date: 2023-03-28

Abstract

本发明提供一种基于元学习的小样本工业零件表面缺陷检测方法。现今基于传统深度学习的工业表面缺陷检测方法需要耗费大量成本来标注数据集，且对小样本的缺陷种类检测效果不佳。本发明的方法包括提出一个Meta‑YOLOv5小样本目标检测模型。训练分为两个阶段，第一阶段使用充足样本的基类样本联合训练基于改进YOLOv5框架的特征提取器，轻量级的重加全模块和预测模块。第二阶段使用小样本的基类和新类进行微调，利用第一阶段预训练好的模型泛化到小样本目标检测器上。本方法能在小样本工业零件表面缺陷检测任务中比其他传统深度学习方法有着更优的目标检测性能。

Description

一种基于元学习的小样本工业零件表面缺陷检测方法

技术领域

本发明涉及工业零件表面缺陷检测技术领域，尤其涉及一种基于元学习的小样本工业零件表面缺陷检测方法。

背景技术

目前针对工业零件表面缺陷检测领域，有着通过人工的检测方法和传统图像处理方法等方法。然而人工检测方法所耗费的精力太多，传统图像处理方法也有着漏检和错检的比例较大的问题。

随着机器学习的快速发展，基于深度学习的工业零件表面缺陷检测技术在性能上取得了不错的成果。然而，基于传统深度学习的目标测技术很大程度上依赖于庞大的样本数据，并且需要大量的人工标注好的图像进行训练。由于对海量数据的标注工作成本昂贵，获取稀有的工业零件表面缺陷数据难度较大，所以如何定位和识别稀有的少样本类别仍然是一个严峻的问题。在低成本的人工智能学术诉求和工业上对廉价学习的需求下，小样本工业表面缺陷检测技术的研究成为必然。

小样本目标检测旨用数量较少的新类别训练样本训练目标检测模型，实现对新类别的目标检测。元学习(Meta Learning)是指学会如何学习，与传统的监督学习以样本为基本单位进行迭代训练不同，元学习以任务为单位进行迭代训练，希望使得模型获取一种学会学习调参的能力，使其可以在获取已有知识的基础上只需进行少量的迭代就可以快速学习新的任务。机器学习是需要耗费大量时间进行人为调整参数后再训练模型，元学习则是先通过其它的任务训练出一个较好的超参数，然后通过这些超参数再对小样本任务进行训练。

与传统的机器学习相比，元学习的方法天然适合于小样本任务，随着对小样本目标检测深入研究，基于元学习的方法逐渐成为小样本目标检测的主流方法。这些方法将元学习的思想与一些目标检测框架相结合提出了一些模型，这些模型与YOLOv2、YOLOv3、SDD、FasterR-CNN等检测框架相结合，达到了不错的检测性能。随着深度学习与GPU计算能力的不断发展，更多性能优良的目标检测算法框架被提出，然而却没有与元学习的思想相结合用于小样本目标检测任务当中。

YOLOv5是一种单阶段的目标检测算法，其速度与精度比前几代YOLO相比都得到了极大的性能提升。然而这些性能的提升离不开大量的训练数据进行训练，该算法在小样本环境下非常容易出现过拟合的现象，使得训练出来的模型缺少泛化能力。

综上，需要研究一种性能更为优秀的小样本工业零件表面缺陷检测方法，并结合元学习的思想将其他任务中学习到的元知识运用在小样本任务当中，以及改进与元学习相结合的目标检测框架来构造基于元学习的小样本工业零件表面缺陷检测方法。

发明内容

为了解决上述问题，本发明提出一种基于元学习的小样本工业零件表面缺陷检测方法。该方法旨在利用元学习的思想，与基于改进YOLOv5的检测框架：SE-YOLOv5相结合，同时修改预测模块中的损失函数，训练出一个小样本检测模型，提升在小样本工业零件表面缺陷目标检测任务中的检测性能。

为了实现上述目的，本发明的技术方案如下：

本发明提供了一种基于元学习的小样本工业零件表面缺陷检测方法，包括：

采用元学习框架搭建小样本检测模型，并对其进行改进。

检测模型包括：元特征提取器、重加全模块和预测模块。

进一步地，元特征提取器用于输入查询集，重加全模块用于输入支持集，预测模块用于目标的定位与分类。

进一步地，将元特征提取器设计成YOLOv5的Backbone+SE注意力机制模块，提取输入图像的多尺度的元特征。

Backbone主要由CBS、BottleneckCSP/C3以及SPP/SPPF等组成。

CBS模块：Conv+BatchNorm+SiLu；激活函数采用SiLu，SiLU是Sigmoid和ReLu的改进版，SiLu具备无上界有下界、平滑、非单调的特性，其公式为：

f(x)＝x·sigmoid(x)BottleneckCSP/C3：用于提取输入图片的特征，主干网络是较深的网络，其中的多个残差结构可以增加层与层之间反向传播的梯度值，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化。

SPP：被称为空间金字塔池化，能将任意大小的特征图转换成固定大小的特征向量。

SE(squeeze and excitation)：在Backbone的最后一层加入SE注意力机制模块，SE模块针对每一个通道进行池化处理后输入金两个全连接层输出特征重加权向量，该向量是对SE模块之前的特征矩阵的每一个通道计算出一个权重关系，它会根据每个通道的重要程度分配相应大小的权重，可以让元特征提取器更加注重待检测目标，从而提升检测性能。

进一步地，重加全模块采用与元特征提取器尺度相对应的轻量级CNN网络MobileNetV3提取多尺度的特征重加权向量，特征重加权向量与元特征提取器提取到的多尺度元特征通道相乘。

进一步地，MobileNetV3拥有SE注意力机制模块，h-swish激活函数，输出三个尺度的特征重加权向量。

进一步地，预测部分会将特征重加权向量与元特征相乘输入进三种不同尺度的预测模块，每个尺度预测模块中所采用的锚框尺寸不相同，用于不同大小目标的检测；预测模块使用三种损失函数：目标定位损失L_local、目标分类损失L_class和置信度损失L_confidence；目标定位损失函数采用CIOU损失，通过更多的维度考虑预测框与真实框之间的差异。

/>

目标分类损失与置信度损失采用二元交叉熵损失函数。

与现有技术相比，本发明的有益效果为：

本发明提供了一种基于元学习的小样本工业零件表面缺陷检测方法，采用基于改进YOLOv5的小样本目标检测模型，并在元特征提取器与重加权模块加入注意力机制，提升模型在小样本工业零件表面缺陷检测任务中的检测性能。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明具体实施流程框图；

图2为本发明基于元学习的数据集拆分；

图3为本发明具体实施中，用于训练的检测模型；

图4为本发明具体实施中，使用本发明方法(10-shot)检测测试集三种新类的效果图；

图5为本发明具体实施中，使用传统深度学习方法YOLOv5(10-shot)检测测试集三种新类的效果图；

具体实施方式

为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。

如图1所示，本发明提供的一种基于元学习的小样本工业零件表面缺陷检测方法，具体过程包括：数据集拆分，基类预训练阶段，小样本微调阶段，评估模型。

第一步，如图2所示，将数据集拆分，拥有充足样本数量的类归为基类，小样本数量的类归为新类，第一阶段将来自基类的带标签的训练数据重新组成多个小样本检测学习任务T_j。

T_j＝S_j∪Q_j＝{(I_j1，M_j1)，...，(I_jN，M_jN)}∪{(I_qj，M_qj)}

每个任务包含一个支持集S_j(由N个支持图像组成，每个支持图像来自不同的基类)和一个查询集Q_j(查询图像带有用于性能评估的注释)；其中I_k表示输入图像并且

M_k表示边界框注释；在第二阶段从基类中选取少量样本与新类整合，按照k-shot拆分成k个支持集。

第二步，如图3所示，在基类预训练阶段，将使用带标签的大量基类数据训练目标检测模型。值得注意的是会联合训练元特征提取器、重加全模块和预测模块。这是为了让它们以所需的方式进行协调；令θ_D、θ_M和θ_p分别表示元特征学习器D、重加权模块M和预测模块P的参数，通过最小化损失来联合优化它们。

元特征提取器用于提取查询集图像的元特征；具体地，元特征提取器采用YOLOv5的主干网络部分+SE注意力机制模块，将提取多尺度的元特征。

重加权模块输入支持集图像，提取图像信息转换成特征重加权向量，这些特征重加权向量用于调整元特征并突出对新物体检测具有重要意义的元特征；具体地，重加权模块的输入是感兴趣的对象，为了让重加权模块知道目标类是什么，除了三个RGB通道之外，还包括一个额外的“mask”通道，它只有二进制值，在感兴趣对象的边界框内的位置上值为1，否则为0；如果图像上存在多个目标对象，则仅使用一个对象；将mask和图像组合作为输入，提供感兴趣对象的类别信息与对检测有用的位置信息(由mask指示)。

将元特征与特征重加权向量进行乘法，将输出输入进预测模块；具体地，YOLO目标预测的核心思想是将整张图片作为网络的输入，直接在输出层对目标框的位置和类别进行回归。

步骤1)将一幅图像分成S_h*S_w个网格(gridcell)，其中如果有目标中心落在一个网格里取1，否则取0；

步骤2)预测目标框和实际的Groundtruth之间的IOU值；每个目标框要预测(x,y,w,h)和置信度共5个值；

步骤3)得到每个目标框的类别置信度得分以后，设置阈值，过滤掉得分低的目标框，对保留的目标框进行非极大抑制处理，得到最终的检测结果。

第三步，第二阶段的过程具体为：

步骤1)小样本训练集拆分成每个基类和新类的数量为k-shot(k＝3,5,10)当作支持集；

步骤2)按照k-shot(k＝3,5,10)的不同进行小样本微调；

步骤3)把小样本训练集输入进经过第一阶段后训练好的模型进行微调；

步骤4)为了防止出现过拟合的现象，微调阶段只经过10个epoch的训练。

第四步，针对检测性能，对本发明的方法、Meta-YOLO、FSODM(Meta-YOLOv3)与传统深度学习方法做出AP值评估；分别保存第二阶段中每个shot的训练权重，利用测试集评估每个shot的AP值。

为了突出本发明的改进之处，图4、图5分别为采用本发明方法与采用传统深度学习方法：YOLOv5算法的3-way10-shot的检测效果图；通过对比可以发现，传统深度学习方法在小样本环境下并不能实现准确的定位与分类，而本发明的方法则解决了这种问题。

表1为4种方法的测试集AP值评估比较。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，

包括：

将工业零件表面缺陷数据集拆分成基类样本和新类样本；

训练策略基于元学习的方法分为两个阶段，第一阶段为基类预训练阶段，第二阶段为小样本微调阶段；

在第一阶段将使用基类数据联合训练元特征提取器模块、重加全模块和预测模块；第二阶段使用小样本的基类和新类对模型进行小样本微调；将预测分类概率输入进softmax函数对种类进行分类；最终实现小样本目标检测。

2.根据权利要求1所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，将工业零件表面数据集拆分成基类样本和新类样本，将拥有充足样本数量的类样本用作基类，只有小样本的类用作新类；将数据集分为基类训练集、小样本训练集和测试集；基类训练集包括大量的已标注好的基类数据；小样本训练集包括k-shot(k＝3,5,10)的基类和新类；测试集包括已标注好的全部种类，用于评估模型性能。

3.根据权利要求1所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，训练分为两个阶段，分别为：

阶段1)基类预训练阶段，将样本数量充足的基类训练集输入进检测模型训练整个模型；

阶段2)小样本微调阶段，把小样本训练集输入进经过阶段1)训练好的模型进行微调。

4.根据权利要求1所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，训练数据输入将基于元学习的方法，将训练集数据与小样本训练集数据分别重组成多个训练任务，每个训练任务中包含查询集与支持集。

5.根据权利要求1所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，检测模型包括：元特征提取器、重加权模块、预测模块。

6.根据权利要求5所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，元特征提取器采用YOLOv5的backbone部分+SE注意力机制模块设计而成，提取查询集的多尺度元特征。

7.根据权利要求5所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，重加权模块采用轻量级的CNN网络：MobilenetV3，把支持集图像转变成与元特征维度相对应的特征重加权向量。

8.根据权利要求5所属的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，预测模块损失函数为目标定位损失、目标分类损失与置信度损失的合；目标定位损失采用CIOU损失函数，目标分类损失与置信度损失为二元交叉熵损失函数。

9.根据权利要求5所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，将元特征与特征重加权向量通道相乘，把输出输入进YOLOv5的预测模块中得到预测结果。

10.根据权利要求1所述的一种基于元学习的小样本工业零件表面缺陷检测方法，其特征在于，将小样本训练集输入进经过基类预训练阶段的模型进行小样本微调；将分类概率结果输入Softmax函数得到最终的检测结果。