CN111223088B - 一种基于深层卷积神经网络的铸件表面缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络的铸件表面缺陷识别方法；该方法包括步骤如下：1.收集铸件表面缺陷图像并对图像进行标注，建立一个常见铸件表面缺陷的数据集；2.构建深度卷积神经网络缺陷识别模型；3.构建网络损失函数；4.将数据集分为训练集和测试集，使用训练集对缺陷识别网络进行训练；5.将测试图像输入训练好的网络，就可以识别出缺陷的位置、类型和大小；本发明提升了铸件表面缺陷的识别精度和识别性能，推动了铸件质量检测的在线化、智能化和自动化发展。

Description

一种基于深层卷积神经网络的铸件表面缺陷识别方法

技术领域

本发明属于铸件表面缺陷检测领域，具体涉及一种基于卷积神经网络的铸件表面缺陷识别方法。

背景技术

铸件的应用领域比较广泛，但是，由于原材料或者铸造过程的一些问题，会导致铸件出现缺陷。而表面缺陷是铸件缺陷中的一大部分，铸件的表面缺陷会影响产品的美观，降低材料的强度，缩短产品寿命并增加与安全有关的风险。因此，识别铸件的表面缺陷非常重要。

工件表面缺陷识别方法已经发展了很多年，传统方式除人工检查外，主要还包括涡流检测法，漏磁检测法等，关键问题是如何在减少人员参与和检测成本的同时，实时、智能并有效地识别缺陷。基于机器视觉的传统机器学习检查通常包括三个步骤：图像预处理，特征提取，分类，这类方法的常见问题是无法处理复杂的背景图像，无法检测图片上的多个缺陷。铸件表面图像通常受生产环境，表面高度变化，光照等因素的影响，图像背景复杂，图片容易出现模糊和阴影区域，而且铸件的表面缺陷种类繁多，一张图片上可能会出现多个缺陷。

随着卷积神经网络的不断发展，基于卷积神经网络的一些目标识别网络被提出。但是，这些方法大都被用于自然界的物体识别，将其应用于铸件表面缺陷存在定位不准确、无法准确预测大小以及容易误判和漏判目标。

发明内容

针对上述问题，本发明提出一种基于深层卷积神经网络的铸件表面缺陷识别发明方法，避免了人为参与检测过程，能够实现自动实时在线以及智能化检测铸件表面缺陷。通过在骨干网络中采用对称模块以及定义了用于缺陷识别的新型损失函数改善了目标识别网络存在的问题，有效地提高了网络的识别性能。

技术方案：一种基于深层卷积神经网络的铸件表面缺陷识别方法，该方法包括下列步骤：

步骤1、使用工业CCD相机收集铸件表面缺陷图像，使用LabelImg软件标注出每张图像上的缺陷类型、缺陷位置以及大小，建立了一个常见铸件表面缺陷的数据集；

进一步的，所述步骤1中，数据集标注的常见铸件表面缺陷类型包括裂纹、变色、流痕、砂眼、缩松、缩孔、浇不足以及剥落。

步骤2、构建卷积神经网络分类模型SCN，并从数据集中提取缺陷图片，每张缺陷图片上仅含有一类缺陷，训练该网络并测试网络对铸件表面缺陷的分类能力。

进一步的，构建了两种残差模块，分别为同通道残差模块和异通道残差模块；同通道残差模块用于前后通道数不变的情况，异通道残差模块用于前后通道数变化的情况。两种残差模块的第一个权重层都使用1×1的卷积核，用于特征图通道信息的融合；第二个权重层都使用3×3的卷积核，用于获取附近区域的信息。不同的是，同通道残差模块直接使用shortcut connections路径；而异通道残差模块在shortcut connections的路径中增加了一个3×3的卷积核；同通道残差模块使用特征图相加的方式进行特征融合，异通道残差模块则使用特征图相乘的方式，通过研究认为相乘的方式对于增强特征有着更明显的效果。

进一步的，对称模块的结构类似于U-Net分割网络，对称模块的体系结构由一个用于捕获上下文的收缩路径和一个允许精确定位的对称扩展路径组成。对称模块的下采样次数与上采样次数相同，每个下采样前的特征图都会通过一个残差模块与对应的下采样后的特征图进行特征融合。

进一步的，所述步骤2中，SCN分类模型中具有卷积层、残差模块、三个对称模块、全局平均池化层以及全连接层，网络的输入分类图像大小为256×256像素。网络的下采样由步长为2的卷积层完成，后面接Batch Normalization(BN)层，激活函数为Leaky ReLU，公式如下：

式中x是各神经元激活前的值，y是神经元激活后的值。

步骤3、将步骤2中的SCN分类网络作为缺陷识别网络的骨干网络来提取原始图像的特征，并通过三个预测分支从三个尺度上对缺陷进行识别，建立了深层卷积神经网络的缺陷识别模型。

进一步的，所述步骤3中，缺陷识别网络的三个分支分别对应使用了骨干网络中的68×68像素大特征图、34×34像素中特征图和17×17像素小特征图。

步骤4、设计识别网络的损失函数，将步骤1中数据集分为训练集和测试集，使用训练集对步骤3中的缺陷识别网络进行训练并得到预测网络模型；

进一步的，所述步骤4中，缺陷识别网络的损失函数共包含三个部分，分别是置信度损失、DIoU损失以及分类损失，损失函数定义如下：

loss＝loss_corf+loss_DIoU+loss_softclass     (4)

式中branch为预测分支数量，总损失为各个预测分支的损失loss之和。

各预测分支的损失loss又可分为三个部分，其中：loss_conf指的是预测分支的置信度损失，使用交叉熵进行定义；loss_DIoU定义了预测分支的边框损失，loss_softclass使用标签Label-Smoothing软化后的交叉熵损失来定义预测分支的分类损失。预测分支的各损失分量定义如下：

上述三个式子中，s指的是图片在横或纵一个方向被划分的网格个数，anchors是每个网格分配的初始候选框个数,

表明第i个网格的第j个初始候选框负责目标预测而

则表示不负责,λ_noobj为超参数；C_ij、p_ij(c)为置信度和类别概率的标注值,

为置信度和类别概率的预测值，w_ij，h_ij为目标框宽高的标注值，E是一个值被设定为0.01的超参数,K是缺陷的类别个数。在loss_DIoU中，diou被定义如下：

式中，S_c指的是标注框和预测框距离最远的两个顶点形成的矩形区域面积，(x_mn，y_mn)指的是边框的顶点坐标，m代表两个边框的序号，当m为0，1时，I_n的定义如下：

式中，n表示顶点所处的位置，n取0,1,2,3，分别对应着左上、右上、左下和右下。

步骤5、将用于测试的图像输入预测网络模型，网络就可以识别出图像上缺陷的位置、类型和大小。

有益效果：

1.本发明中提出具有对称模块的骨干网络，U-Net分割网络目标定位准确、目标形状反映细致；DarkNet-53的计算效率高、特征表达能力强；而提出的SCN的整体结构基于DarkNet-53，其中的对称模块借鉴了U-Net，从而使得以SCN为骨干网络的缺陷识别网络的分类能力强、目标位置和形状反映准确。

2.方法重新定义了损失函数，使用优化IoU得到的DIoU将网络边框的坐标损失和宽高损失结合，使得两个损失可以同步收敛，有效提高了方法对缺陷的定位能力；使用标签软化的方法有效避免了网络的分类部分的过拟合，提高了网络的目标判别能力和分类能力。

3.综合以上两点，提出了本发明提供的方法：该方法首先通过SCN骨干网络对输入图像进行特征提取，然后使用类似特征金字塔网络的三个预测分支根据骨干网络的特征进行三个尺度上的预测，最后通过非极大值抑制算法(NMS)对目标框进行筛选；该发明简单易行，检测速度快，适用范围广，避免了人为参与，适用于生产线的在线检测。

附图说明

图1是本发明的技术流程图；

图2是本发明的残差模块结构图；

图3是本发明的SCN骨干网络中的对称模块(Symn.Module)结构图；

图4是SCN的分类结果图；

图5是本发明构建的缺陷类型示意图；

图6是本发明的整体网络结构图；

图7是本发明的识别结果示意图；

图8是本发明的识别性能AP值与别的识别网络的AP值的对比。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

本发明提出一种基于深层卷积神经网络的铸件表面缺陷识别方法，该方法可以实时智能在线对铸件表面缺陷进行检测。该方法首先使用设计的带有对称模块的SCN对输入图像进行特征提取，然后使用类似特征金字塔网络的三个预测分支根据骨干网络提取的特征进行三个尺度上的预测，最后通过非极大值抑制算法(NMS)对目标框进行筛选。

构建的基于深层卷积神经网络的铸件表面缺陷识别方法的流程图如图1所是，该方法包括下列步骤：

步骤1、使用工业CCD相机收集铸件表面缺陷图像，使用LabelImg软件标注出每张图像上的缺陷类型、缺陷位置以及大小，建立了一个常见铸件表面缺陷的数据集，采集的图像大小为1400×1200像素；

步骤2、构建卷积神经网络分类模型SCN，并从数据集中提取缺陷图片，每张缺陷图片上仅含有一类缺陷，图像的大小统一调整为256×256像素。使用提取的图片训练该网络并测试网络对铸件表面缺陷的分类能力；

步骤3、将步骤2中的SCN分类网络作为缺陷识别网络的骨干网络来提取原始图像的特征，并通过类似特征金字塔网络(FPN)结构的三个预测分支从三个尺度上对缺陷进行识别，建立了深度卷积神经网络的缺陷识别模型。

步骤4、设计识别网络的损失函数，将步骤1中数据集中的图片统一调整为544×544像素，并分为训练集和测试集，使用训练集中的所有标注框通过K-means聚类得到初始候选框大小，并根据初始候选框生成数据集的标签，使用训练集对步骤3中的缺陷识别网络进行训练并得到预测网络模型；

步骤5、将用于测试的图像输入预测网络模型，网络可以预测出三个数字方块，经过以下计算，即可从三个尺度上得出图像上缺陷的位置、类型和大小，最后，对这些预测的结果进行非极大值抑制(NMS)进行择优筛选。

其中t_x、t_y、t_w、t_h、t_c、t_p对应着网络输出的数字方块的各部分；d是网络的总步长；c_x、c_y是当前负责预测的网格的左上角相对于图片左上角的坐标；p_w、p_h是初始候选框的宽高；b_x、b_y、b_w、b_h、b_c和b_p是预测框在图片上的真实位置、宽高、置信度和类别。

进一步，所述步骤2中，如表1所示，SCN分类模型中具有卷积层(Conv.Layer)、残差模块(Res.Module)、三个对称模块(Symn.Module)、全局平均池化层(Global Avgpool)以及全连接层(Connected)，网络的输入分类图像大小为256×256像素，SCN与DarkNet-53以及ResNet-101的分类性能对比结果如图2所示。网络的下采样由步长为2的卷积层完成，后面接Batch Normalization (BN)层，激活函数为Leaky ReLU，公式如下：

式中x是各神经元激活前的值，y是神经元激活后的值。

表1SCN分类网络的详细结构

进一步，所述步骤2中，如图3所示，构建了两种残差模块，分别为同通道残差模块和异通道残差模块；同通道残差模块用于前后通道数不变的情况，异通道残差模块用于前后通道数变化的情况。两种残差模块的第一个权重层都使用1×1的卷积核，用于特征图通道信息的融合；第二个权重层都使用3×3的卷积核，用于获取附近区域的信息。不同的是，同通道残差模块直接使用shortcut connections路径；而异通道残差模块在shortcutconnections的路径中增加了一个3×3的卷积核；同通道残差模块使用特征图相加的方式进行特征融合，异通道残差模块则使用特征图相乘的方式，通过研究认为相乘的方式对于增强特征有着更明显的效果。

进一步，所述步骤2中，如图4所示，对称模块的结构类似于U-Net分割网络，对称模块的体系结构由一个用于捕获上下文的收缩路径和一个允许精确定位的对称扩展路径组成。对称模块的下采样次数与上采样次数相同，每个下采样前的特征图都会通过一个残差模块与对应的下采样后的特征图进行特征融合。

进一步，所述步骤1中，如图5所示，数据集标注的常见铸件表面缺陷类型包括裂纹、变色、流痕、砂眼、缩松、缩孔、浇不足以及剥落。

进一步，所述步骤3中，如图6所示，识别网络的整体结构，缺陷识别网络的三个分支分别对应使用了骨干网络中的68×68像素大特征图、34×34像素中特征图和17×17像素小特征图。

进一步，所述步骤4中，缺陷识别网络的损失函数共包含三个部分，分别是置信度损失、DIoU损失以及分类损失，损失函数定义如下：

loss＝loss_conf+loss_DIoU+loss_softclass   (4)

式中branch为预测分支数量，总损失为各个预测分支的损失loss之和。各预测分支的损失loss又可分为三个部分，其中：loss_conf指的是预测分支的置信度损失，使用交叉熵进行定义；loss_DIoU定义了预测分支的边框损失，loss_softclass使用标签Label-Smoothing软化后的交叉熵损失来定义预测分支的分类损失。预测分支的各损失分量定义如下：

上述三个式子中，s指的是在该预测分支上图片在一个方向被划分的网格个数，anchors是每个网格分配的初始候选框个数，

表明第i个网格的第j个初始候选框负责目标预测而

则表示不负责，λ_noobj为超参数；C_ij、p_ij(c)为置信度和类别概率的标注值，

为置信度和类别概率的预测值，w_ij，h_ij为目标框宽高的标注值，E是一个值被设定为0.01的超参数，K是缺陷的类别个数。在loss_DIoU中，diou被定义如下：

式中，S_c指的是标注框和预测框距离最远的两个顶点形成的矩形区域面积。

(x_mn，y_mn)指的是边框的顶点坐标，m代表两个边框的序号，当m为0，1时，I_n的定义如下：

式中，n表示顶点所处的位置，n取0，1，2，3，分别对应着左上、右上、左下和右下。

本方法对铸件表面缺陷的部分识别结果如图7所示，将本发明提出的网络与别的目标识别网络的性能进行对比，结果如图8所示，可以看出本发明的性能AP值要普遍高于YOLOv3、YOLOv3-GIoU以及Faster-RCNN。

本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于，步骤如下：

步骤1、使用工业CCD相机收集铸件表面缺陷图像，使用LabelImg软件标注出每张图像上的缺陷类型、缺陷位置以及大小，建立铸件表面缺陷的数据集；

步骤2、构建卷积神经网络分类模型SCN，并从数据集中提取缺陷图片，训练该网络并测试网络对铸件表面缺陷的分类能力；

步骤3、将步骤2中的SCN分类网络作为缺陷识别网络的骨干网络来提取原始图像的特征，并通过三个预测分支从三个尺度上对缺陷进行识别，建立了深层卷积神经网络的缺陷识别模型；

步骤4、设计识别网络的损失函数，将步骤1中的数据集分为训练集和测试集，使用训练集对步骤3中缺陷识别网络进行训练并得到预测网络模型；

步骤5、将用于测试的图像输入预测网络模型，网络就可以识别出图像上缺陷的位置、类型和大小；

所述步骤2中，SCN分类模型包括卷积层、残差模块、三个对称模块、全局平均池化层以及全连接层；SCN分类模型的网络输入分类图像大小为256×256像素，网络的下采样由步长为2的卷积层完成，后面接Batch Normalization层，激活函数为Leaky ReLU，公式如下：

式中x是各神经元激活前的值，y是神经元激活后的值；

所述步骤4中，缺陷识别网络的损失函数包括置信度损失、DIoU损失以及分类损失，损失函数定义如下：

loss＝loss_conf+loss_DIoU+loss_softclass         (4)

式中branch为预测分支数量；总损失为各个预测分支的损失loss之和，各预测分支的损失loss分为三个部分，其中：loss_conf为预测分支的置信度损失；loss_DIoU为预测分支的边框损失，loss_softclass为预测分支的分类损失；预测分支的各损失分量定义如下：

式中，s为图片在一个方向被划分的网格个数，anchors为每个网格分配的初始候选框个数；

表明第i个网格的第j个初始候选框负责目标预测，

则表明第i个网格的第j个初始候选框不负责目标预测；λ_noobj为超参数；C_ij、p_ij(c)为置信度和类别概率的标注值,

为置信度和类别概率的预测值，w_ij,h_ij为目标框宽高的标注值；E为超参数；K为缺陷的类别个数；在loss_DIoU中，diou被定义如下：

式中，S_c指的是标注框和预测框距离最远的两个顶点形成的矩形区域面积；

(x_mn，y_mn)为边框的顶点坐标，m代表两个边框的序号，当m为0，1时，I_n的定义如下：

式中，n表示顶点所处的位置，n取0,1,2,3，分别对应左上、右上、左下和右下。

2.根据权利要求1所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：构建两种残差模块，分别为同通道残差模块和异通道残差模块；两种残差模块的第一个权重层均使用1×1的卷积核，用于特征图通道信息的融合；第二个权重层均使用3×3的卷积核，用于获取附近区域的信息。

3.根据权利要求2所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：所述同通道残差模块使用shortcut connections路径；所述异通道残差模块在shortcut connections的路径中增加3×3的卷积核。

4.根据权利要求3所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：所述同通道残差模块使用特征图相加的方式进行特征融合，所述异通道残差模块使用特征图相乘的方式进行特征融合。

5.根据权利要求1所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：对称模块的体系结构由一个用于捕获上下文的收缩路径和一个用于精确定位的对称扩展路径组成。

6.根据权利要求5所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：对称模块的下采样次数与上采样次数相同，每个下采样前的特征图通过一个残差模块与对应的下采样后的特征图进行特征融合。

7.根据权利要求1所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：所述步骤1中，数据集标注的缺陷类型包括裂纹、变色、流痕、砂眼、缩松、缩孔、浇不足以及剥落。

8.根据权利要求1所述的一种基于深度卷积神经网络的铸件表面缺陷识别方法，其特征在于：所述步骤3中，缺陷识别网络的三个预测分支分别使用骨干网络中的68×68像素大特征图、34×34像素中特征图以及17×17像素小特征图。

Images