CN112258446A

CN112258446A - 一种基于改进yolo算法的工业零件缺陷检测方法

Info

Publication number: CN112258446A
Application number: CN202010894480.6A
Authority: CN
Inventors: 宋亚明; 房永伟; 丁博文; 李响; 梁远骥; 吕益良
Original assignee: Luoyang CITIC Imaging Intelligent Technology Co Ltd
Current assignee: Luoyang CITIC Imaging Intelligent Technology Co Ltd
Priority date: 2020-08-31
Filing date: 2020-08-31
Publication date: 2021-01-22

Abstract

本发明涉及基于改进YOLO算法的工业零件缺陷检测方法，包括以下步骤：采集工业零件图片数据、数据集选择、划分数据集、图像标注、图像增强、构造模型、训练模型、缺陷长度计算，本发明通过该检测方法可以在实际生产中准确而快速地识别出缺陷并定位其位置，从而在工件进行下一步加工前确定是否继续加工或对工件进行其他决策，进而达到有效提高生产效率并降低生产成本的目的。

Description

一种基于改进YOLO算法的工业零件缺陷检测方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于改进YOLO算法的工业零件缺陷检测方法。

背景技术

工业零部件在铸造过程中，由于金属液流动性不强，液中含氧量高，氧化皮较多，排气条件不良等原因，不可避免的会产生浇不足类缺陷，而制造完成时，往往需要去检测其完整性及功能性，目前，传统的工件缺陷检测方法，往往采用常规图像处理算法或人工设计特征加分类器方式，近年来，随着以卷积神经网络（CNN）为代表的深度学习模型在诸多计算机视觉（CV,computer-vision）领域成功应用，不少基于深度学习的缺陷检测方法也被广泛应用于工业场景中，如fast rcnn、faster rcnn、ssd等目标检测模型，但此种检测方法在针对缺陷种类不均衡及小目标缺陷时模型准确率不佳、实时性低，以至于实际生产中缺陷检出率及准确率不高，导致生产成本增加。

发明内容

针对上述情况，本发明提供了一种基于改进YOLO算法的工业零件缺陷检测方法，通过该检测方法可以在实际生产中准确而快速地识别出缺陷并定位其位置，从而在工件进行下一步加工前确定是否继续加工或对工件进行其他决策，进而达到有效提高生产效率并降低生产成本的目的。

本发明的目的是这样实现的：一种基于改进YOLO算法的工业零件缺陷检测方法，它包括以下步骤：

步骤一、采集工业零件图片数据：通过工业CT采集设备零部件在生产中的图像数据，形成基础数据集；

步骤二、数据集选择：对步骤一中采集的基础数据集进行筛选；

步骤三、划分数据集：将步骤二得到的数据集划分为训练集、验证集和测试集；

步骤四、图像标注：对训练集与验证集图像使用标注工具进行标注，所标注的信息包括目标边框的x、y、w、h四个位置信息和类别信息；

步骤五、图像增强：由于现场采集图像条件特殊，且浇不足类缺陷出现次数较少，导致包含浇不足类缺陷图像较少，故对训练集进行图像增强，以扩充数据集，防止模型过拟合，同时增强模型的鲁棒性；

步骤六、构造模型：主干网络采用CSPDarknet53网路结构，将浅层特征映射为两个部分，一部分经过Dense模块，另一部分直接与Partial Dense Block输出进行concat，可以有效增强CNN的学习能力，同时也降低了计算量；之后加入Spatial Pyramid Pooling，即空间金字塔池化（SPP），增加网络的感受野；

步骤七、训练模型：以大规模图像识别挑战赛中的训练权重为基础做迁移学习，设置动态衰减学习率，训练模型至验证集的损失函数不再下降，最终实现对浇不足类缺陷的精准定位，同时保存训练后模型最好的权重；

步骤八、缺陷长度计算：用步骤七保存的模型最好的权重对图片进行预测，得到预测结果为缺陷类别及缺陷在图片中的位置坐标，根据相应的检测框坐标，求检测框对角线长度并乘上相应放大系数，可近似求出缺陷长度。

进一步的，所述的步骤二中筛选后的数据集中保证包含浇不足类缺陷的图片大约占总图片数量比例的35%~45%，防止因数据样本极端不均衡而造成模型过拟合。

进一步的，所述的步骤三中训练集、验证集和测试集所占比例分别为80%、15%和5%，，并保证每部分均包含相同比例的浇不足类缺陷图像。

进一步的，所述的步骤五中的图像增强的具体方法为：水平翻转、垂直翻转、对比度调节、亮度调节、平移缩放旋转、网格失真、弹性变换等。

进一步的，所述的步骤六中的具体实现为对layer107进行5×5，9×9，13×13size的最大池化，分别得到layer 108，layer 110和layer 112，完成池化后，将layer 107，layer 108，layer 110和layer 112进行concatenet，连接成一个特征图layer 114并通过1×1降维到512个通道。

本发明的有益效果：通过该检测方法可以在实际生产中准确而快速地识别出缺陷并定位其位置，从而在工件进行下一步加工前确定是否继续加工或对工件进行其他决策，进而达到有效提高生产效率并降低生产成本的目的。

附图说明

附图1为本发明一种基于改进YOLO算法的工业零件缺陷检测方法中DenseNet与CSPDenseNet的结构图：

图1.1为原始的DenseNet结构；

图1.2为加入Cross Stage Partial (CSP)后的CSPDenseNet结构图；

附图2是本发明一种基于改进YOLO算法的工业零件缺陷检测方法中DenseNet53的五个大残差块分别加入Cross Stage Partial后的结构图；

其中，图2.1为Darknet53分块1加上CSP后的结果；

图2.2为Darknet53分块2加上CSP后的结果；

图2.3为Darknet53分块3加上CSP后的结果；

图2.4为Darknet53分块4加上CSP后的结果；

图2.5为Darknet53分块5加上CSP后的结果；

附图3是本发明一种基于改进YOLO算法的工业零件缺陷检测方法中空间金字塔池化（SPP）的结构图。

具体实施方式

下面结合附图对本发明做进一步的说明。

实施例1

如图1-3所示，一种基于改进YOLO算法的工业零件缺陷检测方法，它包括以下步骤：

步骤二、数据集选择：对步骤一的基础数据集进行筛选，筛选后保证包含浇不足类缺陷的图片大约占总图片数量比例的35%~45%。防止因数据样本极端不均衡而造成模型过拟合；

步骤三、划分数据集：将步骤二得到的数据划分为训练集、验证集和测试集，其比例80%、15%和5%，并保证每部分均包含相同比例的浇不足类缺陷图像；

步骤五、图像增强：由于现场采集图像条件特殊，且浇不足类缺陷出现次数较少，导致包含浇不足类缺陷图像较少，故对训练集进行图像增强，以扩充数据集，防止模型过拟合，同时增强模型的鲁棒性，具体图像增强方法为：水平翻转、垂直翻转、对比度调节、亮度调节、平移缩放旋转、网格失真、弹性变换等；

步骤六、构造模型：主干网络采用CSPDarknet53网路结构（DenseNet的示意图以及CSPDenseNet的改进见附图1），与DenseNet相比CSPNet将浅层特征映射为两个部分，一部分经过Dense模块（图中的Partial Dense Block）,另一部分直接与Partial Dense Block输出进行concate，可以有效增强CNN的学习能力，同时也降低了计算量；之后加入SpatialPyramid Pooling，即空间金字塔池化（SPP），增加网络的感受野，具体实现为对layer107进行5×5，9×9，13×13size的最大池化，分别得到layer 108，layer 110和layer 112，完成池化后，将layer 107，layer 108，layer 110和layer 112进行concatenet，连接成一个特征图layer 114并通过1×1降维到512个通道；

步骤七、训练模型：以大规模图像识别挑战赛中的训练权重为基础做迁移学习，设置动态衰减学习率，训练模型至验证集的损失函数不再下降，最终实现对浇不足类缺陷的精准定位。同时保存训练后模型最好的权重；

步骤八、缺陷长度计算：用步骤七保存的模型最好的权重对图片进行预测，得到预测结果为缺陷类别及缺陷在图片中的位置坐标,根据相应的检测框坐标，求检测框对角线长度并乘上相应放大系数，可近似求出缺陷长度。

本发明首先采集图像并构建数据集，并按比例分为训练集、验证集、测试集三部分，对训练集与验证集进行标注得到训练模型所需的缺陷位置坐标，然后，对数据集进行增强后输入模型。

模型网络整体架构如下：一种基于改进YOLO算法的工业零件缺陷检测方法的模型构造部分，模型框架以Darknet53位基础，加入CSPNet，见附图1，即为Darknet53的每个大残差块分别加入CSP，Darknet53分块1加上CSP后的结果对应layer0～layer10，见图2.1，其中，layer[0,1,5,6,7]与分块1完全一样，而layer[2,4,8,9,10]属于CSP部分；Darknet53分块2加上CSP后的结果对应 layer11～layer23，见图2.2，其中，layer[11,15～20]对应分块2，其余layer属于 CSP部分；Darknet53分块3加上CSP后的结果对应layer24～layer54，见图2.3，其中，layer[24,27～51]对应分块3，其余layer属于CSP部分；Darknet53分块4 加上CSP后的结果对应layer55～layer85，见图2.4，其中，layer[55,58～82]对应分块4，其余layer属于CSP部分；Darknet53分块5加上CSP后的结果对应 layer86～layer104，见图2.5，其中，layer[86,89～101]对应分块5，其余layer属于 CSP部分；此外，还加入Spatial Pyramid Pooling，即空间金字塔池化(SPP)，增加网络的感受野，见图3，具体实现为对layer107进行5×5，9×9，13×13size 的最大池化，分别得到layer108，layer110和layer112，完成池化后，将layer107， layer108，layer110和layer112进行concatenet，连接成一个特征图layer114并通过1×1降维到512个通道。

该模型可以在不明显影响推理速速与增加网络参数量级的同时提升模型的精准度，且通过模型得到的位置坐标，可根据步骤八近似计算出缺陷长度。

Claims

1.一种基于改进YOLO算法的工业零件缺陷检测方法，其特征在于：它包括以下步骤：

步骤五、图像增强：对训练集进行图像增强；

步骤六、构造模型：主干网络采用CSPDarknet53网路结构，将浅层特征映射为两个部分，一部分经过Dense模块，另一部分直接与Partial Dense Block输出进行concat；之后加入Spatial Pyramid Pooling，即空间金字塔池化；

2.根据权利要求1所述的基于改进YOLO算法的工业零件缺陷检测方法，其特征在于：所述的步骤二中筛选后的数据集中保证浇不足类缺陷的图片大约占总图片数量比例的35%~45%。

3.根据权利要求1所述的基于改进YOLO算法的工业零件缺陷检测方法，其特征在于：所述的步骤三中训练集、验证集和测试集所占比例分别为80%、15%和5%，并保证每部分均包含相同比例的浇不足类缺陷图像。

4.根据权利要求1所述的基于改进YOLO算法的工业零件缺陷检测方法，其特征在于：所述的步骤五中的图像增强的具体方法为：水平翻转、垂直翻转、对比度调节、亮度调节、平移缩放旋转、网格失真、弹性变换等。

5.根据权利要求1所述的基于改进YOLO算法的工业零件缺陷检测方法，其特征在于：所述的步骤六中的具体实现为对layer107进行5×5，9×9，13×13size的最大池化，分别得到layer 108，layer 110和layer 112，完成池化后，将layer 107，layer 108，layer 110和layer 112进行concatenet，连接成一个特征图layer 114并通过1×1降维到512个通道。