CN115797326A - 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法 - Google Patents

Abstract

本申请提供一种基于改进YOLOX‑S算法的金属铸件表面缺陷检测方法，步骤为：1)采集数据库中若干金属铸件表面图像，构建金属铸件表面数据集；2)对金属铸件表面数据集中的数据进行预处理，并将处理后数据集按比例划分训练集和测试集；3)搭建基于改进YOLOX‑S网络的金属铸件表面缺陷检测网络；4)利用数据集训练基于改进YOLOX‑S算法的金属铸件表面缺陷检测网络；5)将待检测的金属铸件表面图像输入训练好的改进YOLOX‑S网络中，获得含有缺陷类别和缺陷位置的结果图。本申请针对于金属铸件表面缺陷构建基于改进YOLOX‑S算法的金属铸件表面缺陷检测模型，通过擦除机制和加强机制有效地解决了了原始YOLOX‑S网络存在的语义差异问题，提高了网络对于密集缺陷的检测精度。

Description

一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法

技术领域

本发明属于缺陷识别技术领域，具体涉及一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法。

背景技术

随着我国重工业的蓬勃发展，制造业对于金属铸件的需求量越来越大，金属铸件的外观直接影响着成品的质量。原材料经过一系列生产工序，生产出一批金属零部件。由于生产模具和原材料不能保证完全贴合，会导致金属零部件表面会产生许多缺陷，如凹陷和孔洞。带有缺陷的金属零部件组装成的成品会直接影响产品外观同时使得产品的性能大幅减低而不能得到完美的发挥。因此，及时发现缺陷区域并填补缺陷区域显得尤为重要。

目前，针对于金属铸件表面缺陷检测的方法仍然是以人工检测法为主。工人们通过肉眼观察出金属铸件表面的缺陷，并填充相应的缺陷区域，再经过精细打磨铸件表面，使其达到产品要求。但是人工检测也存在诸多问题，长时间的反复单调工作会使工人感到疲劳，漏检率和产品不合格率会提高，这会直接影响成品的性能。因此，一个能够降低生产成本且能提高生产效率的金属铸件表面缺陷检测方法可以很好地改善制造业的生产状况。

随着不断增强的硬件算力和不断创新的算法模型，深度学习的引入大大提高了缺陷检测的精度，并且降低了设计缺陷检测系统的成本。在有监督目标检测领域，主要有两类算法：一阶段目标检测算法和二阶段目标检测算法。它们都是通过学习大量的有标注缺陷样本信来使得网络模型能够识别缺陷类别。其中一阶段算法在检测速度上比二阶段快，检测精度也高，符合实际生产中对于缺陷检测速度和精度的要求。

YOLOX-S是一种高效的一阶段目标检测网络，能够实现较好的检测效果。但原始YOLOX-S颈部网络使用是直接融合方式，存在语义差异问题，对于密集缺陷的检测存在一定问题，不同种类缺陷的特征会相互影响，降低网络准确率。

发明内容

本发明的目的就是提供一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，用于解决特征融合网络存在的语义差异问题。本算法可以有效地减少人工检测带来的不确定性并提高缺陷检测的准确性，为后续的缺陷区域填充提供帮助。

本发明的目的是通过这样的技术方案实现的，具体步骤如下：

1)数据采集：采集数据库中若干金属铸件表面图像，构建金属铸件表面数据集；

2)数据预处理：对金属铸件表面数据集中的数据进行预处理，并将处理后数据集按比例划分训练集和测试集；

3)构建模型：搭建基于改进YOLOX-S网络的金属铸件表面缺陷检测模型；

4)模型训练：利用数据集训练基于改进YOLOX-S算法的金属铸件表面缺陷检测模型；

5)缺陷检测：将待检测的金属铸件表面图像输入训练好的改进YOLOX-S网络中，获得含有缺陷类别和缺陷位置的结果图。

进一步，步骤2)中数据预处理的具体步骤为：

2-1)对金属铸件表面数据集的数据进行增强操作，所述增强操作包括但不限于翻转、剪裁；

2-2)用LabelImg软件对增强操作的数据集进行标注，构建VOC格式的数据集，并按照8:2的比例将构建的VOC格式的数据集划分训练集和测试集。

进一步，步骤3)中改进YOLOX-S网络包括骨干网络，颈部网络，头部网络；

所述骨干网络为由CSPDarknet网络构成的特征提取网络，所述颈部网络为由改进的PAFPN网络—ES-PAFPN网络构成的特征融合网络，所述头部网络为由3个YOLO Head网络构成的分类预测网络；

所述ES-PAFPN网络采用擦除和加强机制来进行间接特征融合。

进一步，所述特征提取网络由CSPDarknet网络构成包括串联的用于对输入图像一层层的进行特征提取的4个Resblock body块；

每一个Resblock body块用于将图像尺寸缩小一半，通道数加倍；串联网络最后一个Resblock body块中包括用于提高网络的感受野SPP网络结构；

所述特征提取网络会提取出三个特征Feature0、Feature1和Feature2。

进一步，所述特征融合网络由ES-PAFPN网络构成，所述ES-PAFPN网络构成包括bottom-up和up-bottom两个部分，所述bottom-up部分利用擦除和加强机制处理特征提取网络提取的特征，并将结果输入up-bottom部分来再次加强特征；

所述特征融合网络ES-PAFPN输入为特征提取网络提取的三层特征Feature0、Feature1和Feature2；Feature0经过CU2单元调整成和Feature1相同的尺寸，同时利用注意力机制CBAM找出Feature1子特征中隐含的Feature0子特征信息，再通过擦除和增强机制获得Erased feature1和Strengthened feature0，同时引入门控单元，使用tanh激活函数来反映子特征之间的相互影响程度；依照上述方法，通过Feature1和Feature2获得Erasedfeature2和Strengthened feature0；

bottom-up部分仅使用加强机制并输出Erased feature2、Erased feature1和Strengthened feature0；bottom-up部分输出Erased feature2、Erased feature1和Strengthened feature0；所述bottom-up部分表示：

F2_Erased＝Era(Slice(F2),Slice(CU1(F1)))

F1_Erased＝Str(Slice(F2),Slice(CU1(F1)))

+Era(Slice(F1),Slice(CU2(F0)))

F0_Strengthened＝Str(Slice(F1),Slice(CU2(F0)))

式中，F1、F2、F3为输入特征，Era代表擦除机制，Str代表加强机制，Slice代表特征切片操作，CU1，CU2代表卷积模块；

up-bottom部分的输入是bottom-up部分的输出，up-bottom部分仅通过加强机制来再次加强特征，所述up-bottom部分可用如下公式表示：

F1_Final＝Str(Slice(F1_Erased),Slice(DC1(F2_Erased)))

F0_Final＝Str(Slice(F0_Strengthened),Slice(DC2(F1_Final)))

式中，F1_Erased，F2_Erased，F0_Strengthened，F1_Fional为输入特征，Str代表加强机制，Slice代表特征切片操作，DC1，DC2代表卷积模块；

所述ES-PAFPN的输出为Erased feature2、Final feature 1和Final feature 0。

进一步，所述分类预测网络由3个YOLO Head网络构成，所述YOLO Head网络采用解耦头结构，所述YOLO Head网络包括Reg部分、Obj部分、Cls部分共三部分；

所述Reg部分用于表示预测框中心点的偏移和预测框的宽高信息，所述Obj部分用于表示预测框内包含物体的概率，所述Cls部分用于表示预测框对应某一类缺陷的概率。

进一步，步骤4)中模型训练的具体方法为：

4-1)使用了迁移学习的方法，在VOC数据集的训练集上进行预训练，然后将预训练权重用于此金属表面铸件缺陷检测网络中；

4-2)将测试集数据输入步骤4-1)中获得的金属表面铸件缺陷检测网络中，取测试集准确率最高的权重作为训练好的改进YOLOX-S网络的权重。

由于采用了上述技术方案，本发明具有如下的优点：

本申请基于深度学习目标检测算法，针对于金属铸件表面缺陷，构建基于改进YOLOX-S算法的金属铸件表面缺陷检测网络。此网络通过擦除机制和加强机制有效地解决了了原始YOLOX-S网络存在的语义差异问题，提高了网络对于密集缺陷的检测精度，能够为金属铸件表面缺陷填充提供技术参考。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为本申请基于改进YOLOX-S算法的金属铸件表面缺陷检测方法流程图。

图2为本申请基于改进YOLOX-S算法的金属铸件表面缺陷检测网络结构图。

图3为本申请ES-PAFPN网络中bottom-up部分结构图。

图4为本申请ES-PAFPN网络中up-bottom部分结构图。

图5为本申请实例中缺陷检测效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例：

如图1-4所示的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，具体步骤如下：

1)数据采集：采集数据库中若干金属铸件表面图像，构建金属铸件表面数据集；

在本发明实例中，数据库中的图像数据来自实际带钢生产过程中产生的表面缺陷图像，包含十种类型的表面缺陷，即冲孔、焊缝、月牙弯、水斑、油斑、丝斑、异物、压痕、折痕、腰折。

2)数据预处理：对金属铸件表面数据集中的数据进行预处理，并将处理后数据集按比例划分训练集和测试集；具体步骤为：

2-1)对金属铸件表面数据集的数据进行增强操作，所述增强操作包括但不限于翻转、剪裁；

2-2)用LabelImg软件对增强操作的数据集进行标注，构建VOC格式的数据集，并按照8:2的比例将构建的VOC格式的数据集划分训练集和测试集。

3)构建模型：搭建基于改进YOLOX-S网络的金属铸件表面缺陷检测模型；所示改进YOLOX-S网络包括骨干网络，颈部网络，头部网络；

所述骨干网络为由CSPDarknet网络构成的特征提取网络，所述颈部网络为由改进的PAFPN网络—ES-PAFPN网络构成的特征融合网络，所述头部网络为由3个YOLO Head网络构成的分类预测网络；

所述ES-PAFPN网络采用擦除和加强机制来进行间接特征融合。

在本发明实例中，输入图像尺寸为640*640*3，会经过Focus结构改变图像通道和尺寸为320*320*12，使得网络在通道空间上更加关注宽高信息。然后经过Conv2D_BN_SiLU层使特征层通道数增加到64，再送入到特征提取网络中。

作为本发明的一种实施例，所述特征提取网络由CSPDarknet网络构成包括串联的用于对输入图像一层层的进行特征提取的4个Resblock body块；

每一个Resblock body块用于将图像尺寸缩小一半，通道数加倍；串联网络最后一个Resblock body块中包括用于提高网络的感受野SPP网络结构；

所述特征提取网络会提取出三个特征Feature0、Feature1和Feature2。

在本发明实例中，特征提取网络会提取出三个特征Feature0、Feature1和Feature2，其尺寸分别为20*20*1024，40*40*512，80*80*256。

作为本发明的一种实施例，所述特征融合网络由ES-PAFPN网络构成，所述ES-PAFPN网络构成包括bottom-up和up-bottom两个部分，所述bottom-up部分利用擦除和加强机制处理特征提取网络提取的特征，并将结果输入up-bottom部分来再次加强特征；

所述特征融合网络ES-PAFPN输入为特征提取网络提取的三层特征Feature0、Feature1和Feature2；Feature0经过CU2单元调整成和Feature1相同的尺寸，同时利用注意力机制CBAM找出Feature1子特征中隐含的Feature0子特征信息，再通过擦除和增强机制获得Erased feature1和Strengthened feature0，同时引入门控单元，使用tanh激活函数来反映子特征之间的相互影响程度；依照上述方法，通过Feature1和Feature2获得Erasedfeature2和Strengthened feature0；

bottom-up部分仅使用加强机制并输出Erased feature2、Erased feature1和Strengthened feature0；bottom-up部分输出Erased feature2、Erased feature1和Strengthened feature0；所述bottom-up部分表示：

F2_Erased＝Era(Slice(F2),Slice(CU1(F1)))

F1_Erased＝Str(Slice(F2),Slice(CU1(F1)))

+Era(Slice(F1),Slice(CU2(F0)))

F0_Strengthened＝Str(Slice(F1),Slice(CU2(F0)))

式中，F1、F2、F3为输入特征，Era代表擦除机制，Str代表加强机制，Slice代表特征切片操作，CU1，CU2代表卷积模块；

up-bottom部分的输入是bottom-up部分的输出，up-bottom部分仅通过加强机制来再次加强特征，所述up-bottom部分可用如下公式表示：

F1_Final＝Str(Slice(F1_Erased),Slice(DC1(F2_Erased)))

F0_Final＝Str(Slice(F0_Strengthened),Slice(DC2(F1_Final)))

式中，F1_Erased，F2_Erased，F0_Strengthened，F1_Fional为输入特征，Str代表加强机制，Slice代表特征切片操作，DC1，DC2代表卷积模块；

所述ES-PAFPN的输出为Erased feature2、Final feature 1和Final feature 0。

在本发明实例中，原始的YOLOX-S网络里的特征融合网络使用的是PAFPN网络，它通过上采样和下采样将特征提取网络所提取的特征直接融合，这种融合方式存在语义差异问题，即不同类别的特征会相互影响。为了更加合理的利用特征提取网络所提取的特征，ES-PAFPN网络采用间接融合的方式来加强特征。针对特征提取网络提取出来的特征，相邻的特征层会相互影响，利用了擦除和增强机制的间接融合方式能够擦除本层特征中隐含的相邻层特征，并加强本层所关注的特征，避免直接融合存在的语义差异问题，提高了网络对于密集缺陷的检测精度，能够为金属铸件表面缺陷填充提供技术参考。

在本发明实例中，为了充分利用特征提取网络所提取的特征，按照子通道特征数为32切分特征；所述ES-PAFPN的输出为Erased feature2、Final feature 1和Finalfeature 0，其尺寸分别为80*80*256、40*40*512、20*20*1024。

作为本发明的一种实施例，述分类预测网络由3个YOLO Head网络构成，所述YOLOHead网络采用解耦头结构，所述YOLO Head网络包括Reg部分、Obj部分、Cls部分共三部分；

所述Reg部分用于表示预测框中心点的偏移和预测框的宽高信息，所述Obj部分用于表示预测框内包含物体的概率，所述Cls部分用于表示预测框对应某一类缺陷的概率。

4)模型训练：利用数据集训练基于改进YOLOX-S算法的金属铸件表面缺陷检测模型；具体步骤为：

4-1)使用了迁移学习的方法，在VOC数据集的训练集上进行预训练，然后将预训练权重用于此金属表面铸件缺陷检测网络中；

4-2)将测试集数据输入步骤4-1)中获得的金属表面铸件缺陷检测网络中，取测试集准确率最高的权重作为训练好的改进YOLOX-S网络的权重。

在本发明实例中，步骤4-1)中使用训练集数据对金属表面铸件缺陷检测网络总共训练300轮，并将训练后的模型输入步骤4-2)中。

5)缺陷检测：将待检测的金属铸件表面图像输入训练好的改进YOLOX-S网络中，获得含有缺陷类别和缺陷位置的结果图：

采集带钢表面缺陷图像，获得如图5(a)所示的焊缝和冲孔缺陷，分别位于图片中间和右下角，如图5(b)所示的折痕缺陷，位于图片右侧，如图5(c)所示的异物缺陷，位于图像左侧，如图5(d)所示的压痕缺陷，位于图片右侧。

由图5(a)、(b)、(c)、(d)的检测结果可知，本申请提出的基于改进YOLOX-S算法的金属铸件表面缺陷检测模型提高了网络对于密集缺陷的检测精度，能够为金属铸件表面缺陷填充提供技术参考。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，具体步骤如下：

1)数据采集：采集数据库中若干金属铸件表面图像，构建金属铸件表面数据集；

2)数据预处理：对金属铸件表面数据集中的数据进行预处理，并将处理后数据集按比例划分训练集和测试集；

3)构建模型：搭建基于改进YOLOX-S网络的金属铸件表面缺陷检测模型；

4)模型训练：利用数据集训练基于改进YOLOX-S算法的金属铸件表面缺陷检测模型；

5)缺陷检测：将待检测的金属铸件表面图像输入训练好的改进YOLOX-S网络中，获得含有缺陷类别和缺陷位置的结果图。

2.如权利要求1所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，步骤2)中数据预处理的具体步骤为：

2-1)对金属铸件表面数据集的数据进行增强操作，所述增强操作包括但不限于翻转、剪裁；

2-2)用LabelImg软件对增强操作的数据集进行标注，构建VOC格式的数据集，并按照8:2的比例将构建的VOC格式的数据集划分训练集和测试集。

3.如权利要求1所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，步骤3)中改进YOLOX-S网络包括骨干网络，颈部网络，头部网络；

所述骨干网络为由CSPDarknet网络构成的特征提取网络，所述颈部网络为由改进的PAFPN网络—ES-PAFPN网络构成的特征融合网络，所述头部网络为由3个YOLO Head网络构成的分类预测网络；

所述ES-PAFPN网络采用擦除和加强机制来进行间接特征融合。

4.如权利要求3所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，所述特征提取网络由CSPDarknet网络构成包括串联的用于对输入图像一层层的进行特征提取的4个Resblock body块；

每一个Resblock body块用于将图像尺寸缩小一半，通道数加倍；串联网络最后一个Resblock body块中包括用于提高网络的感受野SPP网络结构；

所述特征提取网络会提取出三个特征Feature0、Feature1和Feature2。

5.如权利要求3所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，所述特征融合网络由ES-PAFPN网络构成，所述ES-PAFPN网络构成包括bottom-up和up-bottom两个部分，所述bottom-up部分利用擦除和加强机制处理特征提取网络提取的特征，并将结果输入up-bottom部分来再次加强特征；

所述特征融合网络ES-PAFPN输入为特征提取网络提取的三层特征Feature0、Feature1和Feature2；Feature0经过CU2单元调整成和Feature1相同的尺寸，同时利用注意力机制CBAM找出Feature1子特征中隐含的Feature0子特征信息，再通过擦除和增强机制获得Erased feature1和Strengthened feature0，同时引入门控单元，使用tanh激活函数来反映子特征之间的相互影响程度；依照上述方法，通过Feature1和Feature2获得Erasedfeature2和Strengthened feature0；

bottom-up部分仅使用加强机制并输出Erased feature2、Erased feature1和Strengthened feature0；bottom-up部分输出Erased feature2、Erased feature1和Strengthened feature0；所述bottom-up部分表示：

F2_Erased＝Era(Slice(F2),Slice(CU1(F1)))

F1_Erased＝Str(Slice(F2),Slice(CU1(F1)))

+Era(Slice(F1),Slice(CU2(F0)))

F0_Strengthened＝Str(Slice(F1),Slice(CU2(F0)))

式中，F1、F2、F3为输入特征，Era代表擦除机制，Str代表加强机制，Slice代表特征切片操作，CU1，CU2代表卷积模块；

up-bottom部分的输入是bottom-up部分的输出，up-bottom部分仅通过加强机制来再次加强特征，所述up-bottom部分可用如下公式表示：

F1_Final＝Str(Slice(F1_Erased),Slice(DC1(F2_Erased)))

F0_Final＝Str(Slice(F0_Strengthened),Slice(DC2(F1_Final)))

式中，F1_Erased，F2_Erased，F0_Strengthened，F1_Fional为输入特征，Str代表加强机制，Slice代表特征切片操作，DC1，DC2代表卷积模块；

所述ES-PAFPN的输出为Erased feature2、Final feature 1和Final feature 0。

6.如权利要求3所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，所述分类预测网络由3个YOLO Head网络构成，所述YOLO Head网络采用解耦头结构，所述YOLO Head网络包括Reg部分、Obj部分、Cls部分共三部分；

所述Reg部分用于表示预测框中心点的偏移和预测框的宽高信息，所述Obj部分用于表示预测框内包含物体的概率，所述Cls部分用于表示预测框对应某一类缺陷的概率。

7.如权利要求1所述的一种基于改进YOLOX-S算法的金属铸件表面缺陷检测方法，其特征在于，步骤4)中模型训练的具体方法为：

4-1)使用了迁移学习的方法，在VOC数据集的训练集上进行预训练，然后将预训练权重用于此金属表面铸件缺陷检测网络中；

4-2)将测试集数据输入步骤4-1)中获得的金属表面铸件缺陷检测网络中，取测试集准确率最高的权重作为训练好的改进YOLOX-S网络的权重。

Images