CN110766662A - 一种基于多尺度和多层特征学习的锻件表面裂纹检测方法 - Google Patents

Abstract

本发明公开了一种基于多尺度和多层特征学习的锻件表面裂纹检测方法，首先针对原始数据集图像数据，进行数据处理与增强；然后基于VGGNet，建立改进的多尺度和多层特征学习网络；接着设计损失函数；裂纹检测预测；最后进行二值化与裂纹判定。本发明提出的基于多尺度和多层特征学习的锻件表面裂纹检测方法，显著提高了工业环境下的锻件表面裂纹检测效果，能够适用于复杂的环境、多变的背景噪声、多样的裂纹形态条件下的锻件表面裂纹检测任务。

Description

一种基于多尺度和多层特征学习的锻件表面裂纹检测方法

技术领域

本发明属于数字图像处理、模式识别与机器学习技术领域，特别是涉及一种 基于多尺度和多层特征学习的锻件表面裂纹检测方法。

背景技术

在工业产品的生产过程中，表面缺陷的产生往往是不可避免的。一般而言， 表面缺陷是产品表面局部物理或化学性质不均匀的区域，不仅观感不佳，也可能 对性能产生不良影响。锻件表面裂纹属于产品缺陷的典型代表之一。工业上通常 使用荧光磁粉处理锻件表面，在紫光灯下使裂纹显现。然而，复杂的环境、多变 的背景噪声、多样的裂纹形态，使得锻件裂纹自动检测十分困难，仍需要依靠人 工进行筛选。

机器视觉是一种无接触、无损伤的自动检测技术，是实现设备自动化、智能 化和精密控制的有效手段，具有安全可靠、光谱响应范围宽、可在恶劣环境下长 时间工作和生产效率高等突出优点。常规的机器视觉裂纹检测流程主要涉及图像 去噪、图像增强与复原、裂纹的检测和目标分割。例如，梯度聚类算法将裂纹特 征进行分类，在单一噪声环境下，增强检测的准确性，但无法在复杂噪声环境下 表现出很好的结果；模板匹配算法通过建立裂纹标准模板库，使用多尺度特征对 裂纹进行匹配，这种方法可以直接过滤复杂的噪声区域，但是裂纹的形态必须是 相对固定且有限的，在随机性裂纹的情况下则失效，出现较多的漏检结果。

此外，国内外研究人员还提出了很多更为复杂的算法，如小波变换与形态学 融合的差影法、基于亮度高程模型的阴影消除算法、裂纹特征建模等。然而，以 上这些方法都不能很好地解决在复杂的环境、多变的背景噪声、多样的裂纹形态 条件下的锻件表面裂纹检测。

发明内容

为了解决上述技术问题，本发明提供了一种基于多尺度和多层特征学习的锻 件表面裂纹检测方法。

本发明所采用的技术方案是：一种基于多尺度和多层特征学习的锻件表面裂 纹检测方法，其特征在于，包括以下步骤：

步骤1：针对原始数据集图像数据，进行数据处理与增强；

步骤2：基于VGGNet，建立改进的多尺度和多层特征学习网络；

所述优化包括：

(1)多层特征学习；

将每级中的最后一个卷积层连接到side输出层，分别为Conv1_2，Conv2_2，Conv3_3，Conv4_3，Conv5_3；这些卷积层的感受场大小与相应的side输出层 相同；

(2)VGGNet剪枝；

切断VGGNet的最后一个阶段，包括第五个池化层和所有全连接层；

(3)多尺度学习；

网络架构分为5个阶段，设计步长分别为1、2、4、8和16，使其具有不同 的感受野大小，将5个side输出层全部合成到最终的输出层；

步骤3：设计损失函数；

利用步骤1中获得的数据集、步骤2中获得的网络、步骤3中获得的损失函 数，对网络参数进行训练，获得“检测模型”，即为学习到的网络参数；

步骤4：裂纹检测预测；

在测试中，对所给图像X，根据每一层的side输出层结果以及加权融合层 结果，得到对应的裂纹预测子结果；

步骤5：二值化与裂纹判定。

本发明提出了一种基于多尺度和多层特征学习的锻件表面裂纹检测方法，与 现有算法相比，其显著优点在于：

(1)突破传统裂纹检测利用特征工程方法的限制，缩减开发周期。

(2)基于整个图像进行训练和预测，利用全局信息，可以有效学习到强噪声 背景与裂纹目标的差别。

(3)在网络的设计上，通过将每一层作为side输出层，最后进行融合，达到 了多尺度和多层特征学习的目的。

(4)结合多尺度和多层特征学习的特点，对VGGNet进行剪枝，减少内存消 耗、加快训练及预测速度。

(5)可利用显卡硬件资源，达到加速的目的，并满足实时性，在工业应用上 具有重要意义。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例改进的多尺度和多层特征学习网络。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对 本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解 释本发明，并不用于限定本发明。

本发明的目的在于提供一种基于多尺度和多层特征学习的锻件表面裂纹检 测方法。现有的多尺度和多层特征学习可分为两类：一是使用若干不同层级的网 络或单个多级网络产生单一层输出；二是使用若干不同层级的网络产生多层输出。 本发明方法的主要思想是：通过改进网络结构，使用单个多级网络，在每一级产 生一个输出层，对每一层级的输出建立损失函数，最后将各层输出的预测结果进 行映射平均，得到最终的锻件表面裂纹预测结果。

本发明的算法流程图如图1所示，具体步骤如下：

步骤1：针对原始数据集图像数据，进行数据处理与增强；

结合实际的工业应用，本发明的图像数据处理与增强有如下三个方面。

1.1：数据集制作；

本实施例使用Canny边缘检测算法对原始数据集图像提取边缘信息，然后 人工标注锻件表面裂纹的局部Canny边缘信息，最后设置背景像素值为0，对图 像进行正则化处理，即得到原始裂纹图像对应的Ground Truth图像。

1.2：数据增强；

使用旋转、缩放、光度变换等方法对有限的数据集进行数据增强。本实施例 将每张原始图像进行16个不同的角度的旋转，并裁剪旋转图像中最大的矩形框； 将原始图像缩放到原始大小的50％、100％、150％；将原始图像进行Gamma调 整，如式(1)所示，I_(x,y,c)、I'_(x,y,c)分别为Gamma调整前后的对应c通道的像素 值，γ为光度调整参数，取值范围为[0.5,2]。对Ground Truth图像做与原始图像 对应的数据增强处理。本方法将数据集扩充到原来的50倍。

I'_(x,y,c)＝(I_(x,y,c)/255)^γ·255,0.5≤γ≤2 (1)

1.3：分辨率Resize；

由于相机参数的调整及数据增强后，图像的分辨率可能不一致，将图像数据 输入到网络中前，需要将图像的分辨率统一化。本实施例使用Resize方法将输 入图像分辨率调整为400×400，插值方法为双线性插值。

步骤2：基于VGGNet，建立改进的多尺度和多层特征学习网络；

本实施例基于VGGNet架构进行改进。如图2所示，展示了VGGNet和改 进的多尺度和多层特征学习网络；其中优化包括：

(1)多层特征学习；

将每级中的最后一个卷积层连接到side输出层，分别为Conv1_2，Conv2_2，Conv3_3，Conv4_3，Conv5_3；这些卷积层的感受场大小与相应的side输出层 相同；

(2)VGGNet剪枝；

切断VGGNet的最后一个阶段，包括第五个池化层和所有全连接层；“修剪” VGGNet的原因是双重的。首先，因为期望具有不同尺度且有意义的输出，所以 具有步长为32的层产生的输出面太小，这将导致插值后的预测图模糊而无法使 用；其次，全连接层是计算密集型的，因此从Pool5开始修剪网络层可以显著降 低训练和测试期间的内存和时间成本。

(3)多尺度学习；

网络架构分为5个阶段，设计步长分别为1、2、4、8和16，使其具有不同 的感受野大小，将5个side输出层全部合成到最终的输出层；

步骤3：设计损失函数；

利用步骤1中获得的数据集、步骤2中获得的网络、步骤3中获得的损失函 数，对网络参数进行训练，获得“检测模型”，即为学习到的网络参数；

骤3的具体实现包括以下子步骤：

步骤3.1：side输出损失函数；

用S＝{(X_n,Y_n),n＝1,…,N}表示输入训练集，其中

表 示原始输入图像，

对应的Ground Truth图像；

分别表示输入图像和输出图像的第j各像素点的像素值；

将所有标准网络层参数表示为W；假设在网络中有M个side输出层，每个 side输出层与分类器相关联，其中相应的权重表示为w＝(w⁽¹⁾,…,w^(M))；

设计目标函数如式(2)所示，其中，l_side表示图像层side输出的损失函数； α_m为第m个side输出层的加和权重。

其中，α_m为第m个side输出层的加和权重。

在训练图像X＝(x_j,j＝1,…,|X|)和裂纹图像Y＝(y_j,j＝1,…,|X|),y_j∈(0,1)中所有像素上计算损失函数；

本实施例使用Cost-sensitive损失函数，并为偏置采样引入额外的权衡参数， 来自动平衡正/负类之间的损失。在每个像素项的基础上引入一个类平衡权重β， 使用这个类平衡权重作为抵消裂纹和非裂纹之间的方法即定义了式(3)中使用 的类平衡交叉熵损失函数：

其中，β＝|Y_-|/|Y|,1-β＝|Y₊|/|Y|，|Y_-|和|Y₊|分别表示裂纹和非裂纹的GroundTruth 标签集合；

通过像素j的sigmoid激活函数值σ(·)计算：

在每个side输出层，通过获得裂纹预测图

其中，

是m层的side输出的激活；

步骤3.2：融合层损失函数；

为直接利用side输出预测结果，在网络中添加加权融合层，并在训练期间 融合权重；

融合层损失函数L_fuse如式(4)所示：

其中，

h＝(h₁,…,h_M)为融合权重，Dist(·,·)融合后的预测 结果和Ground Truth之间的距离，即为交叉熵损失；在反向传播时，通过标准随 机梯度下降方法最小化式(5)所示的目标函数：

(W,w,h)^*＝arg min(L_side(W,w)+L_fuse(W,w,h)) (5)

步骤4：裂纹检测预测；

在测试中，对所给图像X，根据每一层的side输出层结果以及加权融合层 结果，得到对应的裂纹预测子结果，如式(6)所示；通过进一步聚合这些生成 的裂纹预测子结果，如式(7)所示，得到最终的裂纹预测结果

其中，Net(·)表示网络训练得到的裂纹预测模型。

步骤5：二值化与裂纹判定；

二值化有利于过滤掉非裂纹的像素点。由步骤4得到的预测结果

为单通道 灰度值图像I_(x,y)，使用式(8)对I_(x,y)进行而二值化，得到二值图像I′_(x,y)，其中， δ为二值化分割阈值。

神经网络的训练往往难以达到100％的准确率，为进一步提高锻件裂纹的判 别准确率，将二值化处理后的图像中像素填充值“1”的个数在所有像素点中的 占比η作为判定是否为裂纹的标准，如式(9)所示，φ为裂纹判定阈值。

本发明提出的基于多尺度和多层特征学习的锻件表面裂纹检测方法，显著提 高了工业环境下的锻件表面裂纹检测效果，能够适用于复杂的环境、多变的背景 噪声、多样的裂纹形态条件下的锻件表面裂纹检测任务。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳 实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本 领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围 情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求 保护范围应以所附权利要求为准。

Claims (5)

1.一种基于多尺度和多层特征学习的锻件表面裂纹检测方法，其特征在于，包括以下步骤：

步骤1：针对原始数据集图像数据，进行数据处理与增强；

步骤2：基于VGGNet，建立改进的多尺度和多层特征学习网络；

所述优化包括：

(1)多层特征学习；

将每级中的最后一个卷积层连接到side输出层，分别为Conv1_2，Conv2_2，Conv3_3，Conv4_3，Conv5_3；这些卷积层的感受场大小与相应的side输出层相同；

(2)VGGNet剪枝；

切断VGGNet的最后一个阶段，包括第五个池化层和所有全连接层；

(3)多尺度学习；

网络架构分为5个阶段，设计步长分别为1、2、4、8和16，使其具有不同的感受野大小，将5个side输出层全部合成到最终的输出层；

步骤3：设计损失函数；

利用步骤1中获得的数据集、步骤2中获得的网络、步骤3中获得的损失函数，对网络参数进行训练，获得“检测模型”，即为学习到的网络参数；

步骤4：裂纹检测预测；

在测试中，对所给图像X，根据每一层的side输出层结果以及加权融合层结果，得到对应的裂纹预测子结果；

步骤5：二值化与裂纹判定。

2.根据权利要求1所述的基于多尺度和多层特征学习的锻件表面裂纹检测方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：数据集制作；

使用Canny边缘检测算法对原始数据集图像提取边缘信息，然后人工标注锻件表面裂纹的局部Canny边缘信息，最后设置背景像素值为0，对图像进行正则化处理，即得到原始裂纹图像对应的Ground Truth图像；

步骤1.2：数据增强；

将每张原始图像进行16个不同的角度的旋转，并裁剪旋转图像中最大的矩形框；将原始图像缩放到原始大小的50％、100％、150％；将原始图像进行Gamma调整，如式(1)所示，对Ground Truth图像做与原始图像对应的数据增强处理；

I'_(x,y,c)＝(I_(x,y,c)/255)^γ·255,0.5≤γ≤2 (1)

其中，I_(x,y,c)、I'_(x,y,c)分别为Gamma调整前后的对应c通道的像素值，γ为光度调整参数，取值范围为[0.5,2]；

步骤1.3分辨率Resize；

使用Resize方法将输入图像分辨率调整为400×400，插值方法为双线性插值。

3.根据权利要求2所述的基于多尺度和多层特征学习的锻件表面裂纹检测方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：side输出损失函数；

用S＝{(X_n,Y_n),n＝1,…,N}表示输入训练集，其中

表示原始输入图像，

对应的Ground Truth图像；

分别表示输入图像和输出图像的第j各像素点的像素值；

将所有标准网络层参数表示为W；假设在网络中有M个side输出层，每个side输出层与分类器相关联，其中相应的权重表示为w＝(w⁽¹⁾,…,w^(M))；

设计目标函数如式(2)所示，其中，l_side表示图像层side输出的损失函数；α_m为第m个side输出层的加和权重；

在训练图像X＝(x_j,j＝1,…,|X|)和裂纹图像Y＝(y_j,j＝1,…,|X|),y_j∈(0,1)中所有像素上计算损失函数；

定义类平衡交叉熵损失函数：

其中，β＝|Y_-|/|Y|,1-β＝|Y₊|/|Y|，|Y_-|和|Y₊|分别表示裂纹和非裂纹的Ground Truth标签集合；

通过像素j的sigmoid激活函数值σ(·)计算：

在每个side输出层，通过获得裂纹预测图其中，

是m层的side输出的激活；

步骤3.2：融合层损失函数；

为直接利用side输出预测结果，在网络中添加加权融合层，并在训练期间融合权重；

融合层损失函数L_fuse如式(4)所示：

其中，

h＝(h₁,…,h_M)为融合权重，Dist(·,·)融合后的预测结果和Ground Truth之间的距离，即为交叉熵损失；在反向传播时，通过标准随机梯度下降方法最小化式(5)所示的目标函数：

(W,w,h)^*＝arg min(L_side(W,w)+L_fuse(W,w,h)) (5)。

4.根据权利要求3所述的基于多尺度和多层特征学习的锻件表面裂纹检测方法，其特征在于，步骤4的具体实现包括过程为：

在测试中，对所给图像X，根据每一层的side输出层结果以及加权融合层结果，得到对应的裂纹预测子结果，如式(6)所示；通过进一步聚合这些生成的裂纹预测子结果，如式(7)所示，得到最终的裂纹预测结果

其中，Net(·)表示网络训练得到的裂纹预测模型。

5.根据权利要求4所述的基于多尺度和多层特征学习的锻件表面裂纹检测方法，其特征在于，步骤5的具体实现包括过程为：

由步骤4得到的预测结果

为单通道灰度值图像I_(x,y)，使用式(8)对I_(x,)y进行二值化，得到二值图像I'_(x,y)，其中，δ为二值化分割阈值；

将二值化处理后的图像中像素填充值“1”的个数在所有像素点中的占比η作为判定是否为裂纹的标准，如式(9)所示，φ为裂纹判定阈值；

Images