CN116309361A - 一种永磁体表面缺陷的轻量化机器视觉检测方法 - Google Patents

Abstract

本发明公开了一种永磁体表面缺陷的轻量化机器视觉检测方法，以在公开数据集上建立的YOLOv7‑Tiny预训练模型为基础，通过具有特定网络冻结方式的迁移学习机制，利用永磁体缺陷图像数据集对预训练模型进行再训练和微调，将预训练模型的图像特征提取能力迁移到适合提取永磁体表面缺陷图像特征的YOLOv7‑Tiny模型中；然后利用自定义规则的网络剪枝方法对模型进行通道裁剪式压缩，并将剪枝前的模型作为教师网络，剪枝后的模型作为学生网络，由具有特定损失函数的知识蒸馏方法把教师网络的缺陷识别能力迁移至学生网络中，从而恢复模型压缩后损失的精度，实现缺陷永磁体的高速和高精度检测。

Description

一种永磁体表面缺陷的轻量化机器视觉检测方法

技术领域

本发明属于目标识别和模型压缩技术领域，具体涉及一种永磁体表面缺陷的轻量化机器视觉检测方法的设计。

背景技术

永磁体一般指由铁氧体、钕铁硼、铝镍钴等制成的磁性物体，它主要安装在电机的定子或转子上，对永磁电机中产生恒定磁场至关重要。由于复杂的制造工艺，永磁体上表面可能出现缺陷，如裂纹、气孔、磨损、断裂、不均匀和污点，这些缺陷会严重影响永磁体的机械强度和磁性能，导致电机运行异常，甚至发生安全事故。目前广泛使用的永磁体表面缺陷仍然是采用可见光下的人眼观察的检测方法，这种方法受检测员的主观影响较大，且检测标准模糊，识别精度不稳定，执行效率低，自动化程度弱。为了保证各种永磁体的大规模高质量生产，发展准确、快速、自动化的永磁体表面缺陷识别方法显得尤为迫切和重要。

近年来，基于深度学习的目标检测算法取得了重大突破，为永磁体表面缺陷检测问题带来了新的解决方案。但是提高深度学习模型的性能不可避免地会造成训练样本、参数和模型规模的显著增加，进一步给计算能力和数据量带来额外的负担，引发一系列与成本和效率相关的问题。因此，寻找一种轻量化神经网络模型的构建方式能够有效缓解计算量带来的检测问题。

发明内容

本发明的目的是为了解决现有神经网络模型规模较大，并且对永磁体表面缺陷的检测精度和检测速度较低的问题，提出了一种永磁体表面缺陷的轻量化机器视觉检测方法。

本发明的技术方案为：一种永磁体表面缺陷的轻量化机器视觉检测方法，包括以下步骤：

S1、在公开数据集的基础上，采集多种缺陷的永磁体图像数据，并对所有缺陷进行标注，以此扩充公开数据集的缺陷数量和种类，得到永磁体缺陷数据集。

S2、对永磁体缺陷数据集进行数据增强处理以扩充数据集的样本量，并将扩充好的数据以7：2：1的比例分为训练集、验证集和测试集。

S3、使用永磁体缺陷数据集进行迁移学习，得到教师模型。

S4、对教师模型进行通道裁剪式压缩，得到学生模型。

S5、使用永磁体数据集在教师模型的知识指导下对学生模型进行知识蒸馏训练，得到训练好的学生模型。

S6、采用训练好的学生模型对测试集中的永磁体图像进行表面缺陷检测。

进一步地，步骤S1具体为：在公开数据集Magnetic-Tile的基础上，通过永磁体缺陷检测装置采集多种缺陷的永磁体图像数据，并利用数据标注软件Labelimg绘制永磁体图像中多类表面缺陷对象的矩形框，实现永磁体缺陷的标注，增加公开数据集Magnetic-Tile原种类缺陷数量，并新增污点、缺角和划痕三类缺陷种类，得到永磁体缺陷数据集。

进一步地，步骤S2中的数据增强处理包括亮度增强和降低、宽度等比放大、镜面翻转、角度翻转和垂直翻转。

进一步地，步骤S3包括以下分步骤：

S31、将COCO2017公开图像数据集训练过的YOLOv7-Tiny网络作为预训练模型。

S32、通过特定网络冻结方式的迁移学习机制，使永磁体缺陷数据集对预训练模型进行再训练和微调，将预训练模型的图像特征提取能力迁移到适合提取永磁体表面缺陷图像特征的YOLOv7-Tiny网络模型中，并将其作为教师模型。

进一步地，步骤S4具体为：计算教师模型中每个通道的L₂范数并从大到小排序，并按照设定的比例裁剪掉较小L₂范数对应的通道，得到学生模型。

进一步地，L₂范数的计算公式为：

其中α_i表示一个卷积层中一个通道对应的卷积核的第i个权重参数，n表示权重参数的总数。

进一步地，步骤S5中知识蒸馏训练的损失函数为：

L_KD＝_d+_S

L_S＝(1-a)(L_confidence+L_class+L_location)

其中L_KD表示知识蒸馏训练的总损失，L_d表示蒸馏损失，L_S表示学生损失，a表示常数系数，T表示温度参数，f_KLD表示计算Kullback-Leibler散度的函数，

表示温度参数为T时学生网络的输出，/>

表示温度参数为T时教师网络的输出，L_confidence表示置信度损失，L_class表示分类损失，L_location表示位置损失，n表示训练样本个数，λ表示新引入的权重因子，y_ture表示一组样本标签，/>

表示学生网络中输出第i个样本存在缺陷的概率，/>

表示学生网络中输出第i个样本存在缺陷的分类类别的概率，IOU表示交并比，A_i表示第i个样本的真实框架，B_i表示第i个样本的预测框架，b表示预测框架的中心点，b^gt表示真实框架的中心点，ρ表示欧式距离，c表示能够同时包含预测框架和真实框架的最小闭包区域的对角线距离，α表示权重函数，V表示度量长宽比相似性的参数，h表示预测框架的长，w表示预测框架的宽，h^gt表示真实框架的长，w^gt表示真实框架的宽。

本发明的有益效果是：本发明基于轻量化YOLOv7-Tiny迁移学习模型对永磁体表面缺陷进行机器视觉检测，通过特定的迁移学习方式训练一个稳固的教师模型，设定裁剪通道比例构建轻量化学生模型，再将知识蒸馏的方法应用到永磁体缺陷检测模型上，将教师模型提取特征的能力蒸馏到一个轻量型模型上，再引入一个新的权重因子λ强制模型更加关注缺陷永磁体，实现缺陷永磁体的高速和高精度检测。本发明不仅可以压缩原有模型的大小和参数量，降低算力负担，以此提升检测速度，同时还可以提高原有模型的检测精度，更有利于轻量化部署快速和精准的永磁体表面缺陷检测。

附图说明

图1所示为本发明实施例提供的一种永磁体表面缺陷的轻量化机器视觉检测方法流程图。

图2所示为本发明实施例提供的永磁体缺陷检测装置结构示意图。

图3所示为本发明实施例提供的缺陷种类示意图。

图4所示为本发明实施例提供的数据增强处理种类示意图。

附图标记说明：1-光源、2-分拣气缸、3-工业相机、4-合格永磁体、5-传送带、6-缺陷永磁体出口、7-光电开关、8-待测永磁体、9-缺陷永磁体。

具体实施方式

现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。

本发明实施例提供了一种永磁体表面缺陷的轻量化机器视觉检测方法，如图1所示，包括以下步骤S1～S6：

S1、在公开数据集的基础上，采集多种缺陷的永磁体图像数据，并对所有缺陷进行标注，以此扩充公开数据集的缺陷数量和种类，得到永磁体缺陷数据集。

本发明实施例中，在公开数据集Magnetic-Tile的基础上，通过永磁体缺陷检测装置采集多种缺陷的永磁体图像数据，并利用数据标注软件Labelimg绘制永磁体图像中多类表面缺陷对象的矩形框，实现永磁体缺陷的标注，增加公开数据集Magnetic-Tile原种类缺陷数量，并新增污点、缺角和划痕三类缺陷种类，得到永磁体缺陷数据集。图像是根据永磁体缺陷最完整的矩形来标的，标注完成后，生成一个XML格式文件。

如图2所示，本发明实施例中，永磁体缺陷检测装置由光源1、分拣气缸2、工业相机3、传送带5、缺陷永磁体出口6和光电开关7组成，将待测永磁体8放置在传送带5上，经过工业相机3的图像采集和检测，通过分拣气缸2将缺陷永磁体9推入缺陷永磁体出口6，而合格永磁体4则保留在传送带5上继续传送。

如图3所示，公开数据集Magnetic-Tile原始的六种缺陷种类包括不均匀、裂纹、气孔、破裂、合格和磨损，而本发明实施例新增了污点、缺角和划痕三类缺陷种类。

S2、对永磁体缺陷数据集进行数据增强处理以扩充数据集的样本量(本发明实施例中将每类缺陷包括合格样本扩充到2000个样本量)，并将扩充好的数据以7：2：1的比例分为训练集、验证集和测试集。

如图4所示，本发明实施例中的数据增强处理包括亮度增强和降低、宽度等比放大、镜面翻转、角度翻转和垂直翻转。

本发明实施例中，训练集用于模型训练并更新模型参数，使模型通过训练获得针对表面缺陷的识别能力；验证集用于根据被训练模型在验证集的识别效果对模型参数进行调整，使得模型在验证集达到缺陷最优识别能力；测试集用于对训练完的模型的进行泛化能力的评价，检验在相比验证集更大的样本数据量下其缺陷识别能力是否稳健。

S3、使用永磁体缺陷数据集进行迁移学习，得到教师模型。

步骤S3包括以下分步骤S31～S32：

S31、将COCO2017公开图像数据集训练过的YOLOv7-Tiny网络作为预训练模型。

S32、通过特定网络冻结方式的迁移学习机制，使永磁体缺陷数据集对预训练模型进行再训练和微调，将预训练模型的图像特征提取能力迁移到适合提取永磁体表面缺陷图像特征的YOLOv7-Tiny网络模型中，并将其作为教师模型。

本发明实施例中，特定网络冻结方式的迁移学习机制为按迁移学习机制将YOLOv7-Tiny骨干网络中的层冻结到第一个ELAN，设定图像的分辨率为416*416，批处理大小为16，YOLOv7-Tiny算法训练300个epoch，使用单精度训练并保存模型，获得在迁移学习机制下的微调YOLOv7-Tiny网络。

S4、对教师模型进行通道裁剪式压缩，得到学生模型。

本发明实施例中，计算教师模型中每个通道的L₂范数并从大到小排序，并按照设定的比例(本发明实施例中为70％)裁剪掉较小L₂范数对应的通道，得到学生模型。

L₂范数的计算公式为：

其中α_i表示一个卷积层中一个通道对应的卷积核的第i个权重参数，n表示权重参数的总数。

S5、使用永磁体数据集在教师模型的知识指导下对学生模型进行知识蒸馏训练，得到训练好的学生模型。

本发明实施例中，使用永磁体缺陷数据集以及具有特定损失函数的知识蒸馏方法来迭代训练学生模型，把教师模型的缺陷识别能力传递至学生模型中，从而恢复学生模型因通道裁剪而损失的精度，知识蒸馏训练直到总损失稳定到最小。为了提高模型的识别精度，在学生模型的置信度损失函数中引入新的权重因子λ增加对缺陷永磁体样本识别的权重。总损失是指两个部分的总和：第一部分是教师网络输出和学生网络输出之间的蒸馏损失，第二部分是学生网络在训练过程中产生的学生损失(置信度损失、分类损失和位置损失的总和)，知识蒸馏训练的损失函数具体表示为：

L_KD＝L_d+L_S

L_S＝(1-a)(L_confidence+L_class+L_location)

其中L_KD表示知识蒸馏训练的总损失，L_d表示蒸馏损失，L_S表示学生损失，a表示常数系数，T表示温度参数，f_KLD表示计算Kullback-Leibler散度的函数，

表示温度参数为T时学生网络的输出，/>

表示温度参数为T时教师网络的输出，L_confidence表示置信度损失，L_class表示分类损失，L_location表示位置损失，n表示训练样本个数，λ表示新引入的权重因子，y_ture表示一组样本标签，/>

表示学生网络中输出第i个样本存在缺陷的概率，/>

表示学生网络中输出第i个样本存在缺陷的分类类别的概率，IOU表示交并比，A_i表示第i个样本的真实框架，B_i表示第i个样本的预测框架，b表示预测框架的中心点，b^gt表示真实框架的中心点，ρ表示欧式距离，c表示能够同时包含预测框架和真实框架的最小闭包区域的对角线距离，α表示权重函数，V表示度量长宽比相似性的参数，h表示预测框架的长，w表示预测框架的宽，h^gt表示真实框架的长，w^gt表示真实框架的宽。

S6、采用训练好的学生模型对测试集中的永磁体图像进行表面缺陷检测。

为了对比本发明的识别效果，对原YOLOv7-Tiny使用本发明的永磁体缺陷数据集进行训练，得到YOLOv7-Tiny基准模型。对YOLOv7-Tiny基准模型、步骤S3得到的教师模型和步骤S4中的学生模型进行测试，得到测试结果，使用模型参数量、模型大小、推理时间、mAP@0.5、算法指标(AD)、准确率、召回率、F₁分数和平均准确率进行评测，结果如表1和表2所示。

表1 YOLOv7-Tiny基准模型、教师模型与学生模型的各项指标对比表

表2蒸馏后学生模型八类缺陷的测试指标对比表

对象属性	气孔	破裂	裂纹	磨损	不均匀	污点	缺角	划痕
									准确率(％)	97.10	99.05	100.00	95.73	97.56	99.07	99.01	100.00
召回率(％)	100.00	96.31	100.00	100.00	100.00	100.00	100.00	100.00
									F1分数	0.99	0.98	1.00	0.98	0.99	1.00	1.00	1.00
平均准确率(％)	99.94	98.19	100.00	99.98	99.77	100.00	100.00	100.00

其中，准确率Precision、召回率Recall、F₁分数(准确率和召回率的调和平均分数)、平均准确率AP的计算公式为：

其中TP表示被模型预测为正类的正样本，TN表示被模型预测为负类的负样本，FP表示被模型预测为正类的负样本，FN表示被模型预测为负类的正样本，p(r)表示预测精度，r表示召回率，mAP表示类别平均准确率，C表示永磁体缺陷对象类别的数量，本发明实施例中设置为8，N为GIOU阈值个数，K为GIOU阈值。

根据上述表1和表2中的数据可知，本发明实施例提供的永磁体表面缺陷的轻量化机器视觉检测方法，实现了永磁体缺陷检测识别功能，8类缺陷永磁体的Precision(％)、Recall(％)、F₁分数和AP(％)均能达到95％以上，其中裂缝和划痕两类能达到100％。相较于YOLOv7-Tiny基准模型，本发明方法能够在保持原有检测精度的同时实现模型参数量以及模型大小的压缩，并小幅度提升了检测速度；在训练教师模型的时候，由于永磁体缺陷数据集量小，与预训练模型的数据集COCO2017公开数据集相似性低。模型冻结部分少或者过多，都会造成模型过拟合或者训练仅停留在模型浅层部分而导致模型训练没有效果。因此本发明实施例通过实验论证冻结主干网络的不同部分得出收敛最快并能达到永磁体缺陷检测的最好精度精调方式。在构建学生模型时，通过计算L₂范数的裁剪方式能够实现模型最小化的同时保持模型的精度不损失太大。并在学生模型的置信度损失函数中引入权重因子λ增加缺陷永磁体样本的权重，得到较好的识别精度。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，包括以下步骤：

S1、在公开数据集的基础上，采集多种缺陷的永磁体图像数据，并对所有缺陷进行标注，以此扩充公开数据集的缺陷数量和种类，得到永磁体缺陷数据集；

S2、对永磁体缺陷数据集进行数据增强处理以扩充数据集的样本量，并将扩充好的数据以7：2：1的比例分为训练集、验证集和测试集；

S3、使用永磁体缺陷数据集进行迁移学习，得到教师模型；

S4、对教师模型进行通道裁剪式压缩，得到学生模型；

S5、使用永磁体数据集在教师模型的知识指导下对学生模型进行知识蒸馏训练，得到训练好的学生模型；

S6、采用训练好的学生模型对测试集中的永磁体图像进行表面缺陷检测。

2.根据权利要求1所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述步骤S1具体为：在公开数据集Magnetic-Tile的基础上，通过永磁体缺陷检测装置采集多种缺陷的永磁体图像数据，并利用数据标注软件Labelimg绘制永磁体图像中多类表面缺陷对象的矩形框，实现永磁体缺陷的标注，增加公开数据集Magnetic-Tile原种类缺陷数量，并新增污点、缺角和划痕三类缺陷种类，得到永磁体缺陷数据集。

3.根据权利要求1所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述步骤S2中的数据增强处理包括亮度增强和降低、宽度等比放大、镜面翻转、角度翻转和垂直翻转。

4.根据权利要求1所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述步骤S3包括以下分步骤：

S31、将COCO2017公开图像数据集训练过的YOLOv7-Tiny网络作为预训练模型；

S32、通过特定网络冻结方式的迁移学习机制，使永磁体缺陷数据集对预训练模型进行再训练和微调，将预训练模型的图像特征提取能力迁移到适合提取永磁体表面缺陷图像特征的YOLOv7-Tiny网络模型中，并将其作为教师模型。

5.根据权利要求1所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述步骤S4具体为：计算教师模型中每个通道的L₂范数并从大到小排序，并按照设定的比例裁剪掉较小L₂范数对应的通道，得到学生模型。

6.根据权利要求5所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述L₂范数的计算公式为：

其中α_i表示一个卷积层中一个通道对应的卷积核的第i个权重参数，n表示权重参数的总数。

7.根据权利要求1所述的永磁体表面缺陷的轻量化机器视觉检测方法，其特征在于，所述步骤S5中知识蒸馏训练的损失函数为：

L_KD＝L_d+L_S

L_S＝(1-a)(L_confidence+L_class+L_location)

其中L_KD表示知识蒸馏训练的总损失，L_d表示蒸馏损失，L_S表示学生损失，a表示常数系数，T表示温度参数，f_KLD表示计算Kullback-Leibler散度的函数，

表示温度参数为T时学生网络的输出，/>

表示温度参数为T时教师网络的输出，L_confidence表示置信度损失，L_class表示分类损失，L_location表示位置损失，n表示训练样本个数，λ表示新引入的权重因子，y_ture表示一组样本标签，/>

表示学生网络中输出第i个样本存在缺陷的概率，/>

表示学生网络中输出第i个样本存在缺陷的分类类别的概率，IOU表示交并比，A_i表示第i个样本的真实框架，B_i表示第i个样本的预测框架，b表示预测框架的中心点，b^gt表示真实框架的中心点，ρ表示欧式距离，c表示能够同时包含预测框架和真实框架的最小闭包区域的对角线距离，α表示权重函数，V表示度量长宽比相似性的参数，h表示预测框架的长，w表示预测框架的宽，h^gt表示真实框架的长，w^gt表示真实框架的宽。

Images