CN109829900A - 一种基于深度学习的钢卷端面缺陷检测方法 - Google Patents

Abstract

本发明提出了一种基于深度学习的钢卷端面缺陷检测方法，包括以下步骤：步骤S1，批量合成带缺陷的训练样本，得到训练样本集合{Fc，M2}；步骤S2，将训练样本集合{Fc，M2}中的训练样本图片Fc和对应的第二掩码图M2输入到一个初始化语义分割神经网络模型中，通过训练迭代得到收敛的语义分割神经网络模型N；步骤S3，利用收敛的语义分割神经网络模型N对现场的真实图片进行缺陷检测。本发明的一种基于深度学习的钢卷端面缺陷检测方法，解决了因缺陷样本太少导致训练效果不好的问题，其准确度和鲁棒性均表现良好，能够适用于绝大多数实际场景。相较于直接使用卷积神经网络的缺陷检测方法而言，各方面效果均有极大提升。

Description

一种基于深度学习的钢卷端面缺陷检测方法

技术领域

本发明涉及机器视觉技术领域，特别涉及一种基于深度学习的钢卷端面缺陷检测方法。

背景技术

在机器视觉领域，深度学习目前已经广泛应用于缺陷检测当中。其大体过程是通过手工标记大量的样本，放入到神经网络当中进行学习，最终训练出一个对能够对缺陷图像和正常图像进行分类的网络模型，这种方式存在以下缺点：

1)需要大量有标签的样本数据，对小样本的训练效果不佳。

一般而言，想要得到越高的准确率就需要更深层级的神经网络，而更深的层级则需要更多的有标签样本进行训练才会收敛。收集大量样本并进行手工标记，是一件较为困难的事情。

2)工业缺陷检测，能够采集到的缺陷种类和数量极为有限。

缺陷的形状和颜色千变万化，理论上讲有无穷多种。然而在实际应用时难以采集到所有缺陷的样本，因此直接使用卷积神经网络对缺陷图像样本进行训练，效果往往不佳。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于深度学习的钢卷端面缺陷检测方法，解决了样本太少导致训练效果不好的问题。

为了实现上述目的，本发明提供一种基于深度学习的钢卷端面缺陷检测方法，包括以下步骤:

步骤S1，批量合成带缺陷的训练样本，得到训练样本集合{Fc，M2}；

步骤S11，将一张没有缺陷的钢卷端面图作为背景图B，将一张有缺陷的钢卷端面图作为前景图F；

步骤S12，在前景图F中标记出缺陷所在区域的多边形P，新建一张尺寸与前景图F相同的掩码图M，将多边形P投影到掩码图M当中；

步骤S13，将前景图F和掩码图M以相同的参数进行随机扰动处理，每随机扰动处理一次，得到与该次随机扰动处理对应的第一前景图F1与第一掩码图M1；

步骤S14，根据背景图B的尺寸，将第一前景图F1生成与背景图B尺寸相同的第二前景图F2，将第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2；

步骤S15，将第二掩码图M2进行模糊化处理，得到模糊掩码图M2’；

步骤S16，利用样本合成公式得到训练样本图片Fc；

样本合成公式为：Fc(x,y)＝B(x,y)*(1-M2’(x,y))+F2(x,y)*M2’(x,y)；

其中，x为背景图B、第二前景图F2、模糊掩码图M2’中对应点的横坐标，y为背景图B、第二前景图F2、模糊掩码图M2’中对应点的纵坐标；

步骤S17，将所有通过随机扰动处理后得到的训练样本图片Fc以及其对应的第二掩码图M2，整理成训练样本集合{Fc，M2}；

步骤S2，将训练样本集合{Fc，M2}中的训练样本图片Fc和对应的第二掩码图M2输入到一个初始化语义分割神经网络模型中，通过训练迭代得到收敛的语义分割神经网络模型N；

步骤S3，利用收敛的语义分割神经网络模型N对现场的真实图片进行缺陷检测。

优选的是，在步骤S13中，进行随机扰动处理的方式至少包括以下一种方式或多种组合方式：旋转、放大、缩小、拉伸、变形。

在上述任一方案中优选的是，在步骤S12，掩码图M内多边形P投影区域内部所有像素值设为1，其余区域像素值设为0。

在上述任一方案中优选的是，在步骤S15中，第二掩码图M2中的经模糊化处理后，模糊区域的像素值位于(0,1)区间。

在上述任一方案中优选的是，在步骤S14中，第一前景图F1与第二前景图F2之间的关系为：F2(x,y)＝F1(x+xt,y+yt)；

第一掩码图M1与第二掩码图M2之间的关系为：M2(x,y)＝M1(x+xt,y+yt)；

其中，xt为第一前景图F1在第二前景图F2中摆放的横坐标位移，yt为第一前景图F1在第二前景图F2中摆放的纵坐标位移。

在上述任一方案中优选的是，在步骤S14中，将第一前景图F1生成与背景图B尺寸相同的第二前景图F2的具体步骤如下：

首先，新建与背景图B尺寸相同的第一图片，然后，将第一前景图F1投影到第一图片中，将第一图片中第一前景图F1超出第一图片边界的部分裁减掉，将第一前景图F1不及第一图片边界的部分的像素值用0来补齐。

在上述任一方案中优选的是，在步骤S14中，将第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2的具体步骤如下：

首先，新建与背景图B尺寸相同的第二图片，然后，将第一掩码图M1投影到第二图片中，将第二图片中第一掩码图M1超出第二图片边界的部分裁减掉，将第一掩码图M1不及第二图片边界的部分的像素值用0来补齐。

在上述任一方案中优选的是，在步骤S15，将第二掩码图M2进行模糊化处理的方式为高斯模糊。

在上述任一方案中优选的是，在步骤S2中，将第二掩码图M2中的多边形P的投影区域作为真实标记区域掩码M’，然后分别将训练样本集合{Fc，M2}中的每一个训练样本图片Fc及其对应的第二掩码图M2，代入到初始化语义分割神经网络模型中，进行训练迭代；当语义分割神经网络模型得到的缺陷标记区域与真实标记区域掩码M’的平均交并比大于0.9时，则认为训练后的语义分割神经网络模型为收敛的语义分割神经网络模型N。

在上述任一方案中优选的是，在步骤S3中，将现场的真实图片的实际数据输入到收敛的语义分割神经网络模型N中，输出一个代表图像类别的数值，然后通过该数值来判断该现场的真实图片是否存在缺陷。

本发明的一种基于深度学习的钢卷端面缺陷检测方法，解决了样本太少导致训练效果不好的问题，其准确度和鲁棒性均表现良好，能够适用于绝大多数实际场景。相较于直接使用卷积神经网络的缺陷检测方法而言，各方面效果均有极大提升。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的总体流程图；

图2为本发明的步骤S3的具体流程图；

图3为本发明的背景图B的示意图；

图4为本发明的前景图F的示意图；

图5为本发明的掩码图M的示意图；

图6为本发明的第一前景图F1的示意图；

图7为本发明的第一掩码图M1的示意图；

图8为本发明的第二前景图F2的示意图；

图9为本发明的第二掩码图M2的示意图；

图10为本发明的合成后的训练样本图片Fc的示意图；

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

目前都是通过收集大量样本并进行手工标记，放入到神经网络当中进行学习，最终训练出一个对能够对缺陷图像和正常图像进行分类的网络模型；然而，收集大量样本并进行手工标记，是一件较为困难的事情，且实际收集的样本缺陷种类和数量极为有限。

为此，本发明的目的在于获取大量的多种多样的具有缺陷的样本图像，最终训练出一个对能够对缺陷图像和正常图像进行分类的网络模型，并用于实际检测中；本发明提供一种基于深度学习的钢卷端面缺陷检测方法，如图1-10所示，包括以下步骤:

步骤S1，批量合成带缺陷的训练样本，得到训练样本集合{Fc，M2}；

步骤S11，将一张没有缺陷的钢卷端面图作为背景图B，如图3所示，将一张有缺陷的钢卷端面图作为前景图F，如图4所示。

步骤S12，在前景图F中标记出缺陷所在区域的多边形P，新建一张尺寸与前景图F相同的掩码图M，将多边形P投影到掩码图M当中，如图5所示。

掩码图M内多边形P投影区域内部所有像素值设为1，其余区域像素值设为0。

步骤S13，将前景图F和掩码图M以相同的参数进行随机扰动处理，进行随机扰动处理的方式至少包括以下一种方式或多种组合方式：旋转、放大、缩小、拉伸、变形等。每随机扰动处理一次，得到与该次随机扰动处理对应的第一前景图F1与第一掩码图M1。

本发明采用随机扰动处理操作目的是为了能够获得大量的第一前景图F1和第一掩码图M1，且随机扰动处理好能够提供种类繁多的第一前景图F1和第一掩码图M1，从而合成大量的且多种多样的训练样本图片Fc，以便于使后续的收敛的语义分割神经网络模型N更准确。

利用第一前景图F1与第一掩码图M1合成训练样本图片Fc的具体步骤如下：

步骤S14，根据背景图B的尺寸，将第一前景图F1生成与背景图B尺寸相同的第二前景图F2，将第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2，如图8-9所示。

将第一前景图F1生成与背景图B尺寸相同的第二前景图F2的具体步骤如下：

首先，新建与背景图B尺寸相同的第一图片，然后，将第一前景图F1投影到第一图片中，将第一图片中第一前景图F1超出第一图片边界的部分裁减掉(也可以不裁减掉)，将第一前景图F1不及第一图片边界的部分的像素值用0来补齐。

则，第一前景图F1与第二前景图F2之间的关系为：F2(x,y)＝F1(x+xt,y+yt)，(1)；

其中，xt为第一前景图F1在第二前景图F2中摆放的横坐标位移，yt为第一前景图F1在第二前景图F2中摆放的纵坐标位移。

第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2的具体步骤与第一前景图F1生成与背景图B尺寸相同的第二前景图F2的具体步骤相同，如下：

首先，新建与背景图B尺寸相同的第二图片，然后，将第一掩码图M1投影到第二图片中，将第二图片中第一掩码图M1超出第二图片边界的部分裁减掉，将第一掩码图M1不及第二图片边界的部分的像素值用0来补齐。

则，第一掩码图M1与第二掩码图M2之间的关系为：M2(x,y)＝M1(x+xt,y+yt)，(2)；由于第一前景图F1与第一掩码图M1的尺寸相同，第二前景图F2与第二掩码图M2的尺寸相同，则第一掩码图M1中的像素点与第一前景图F1中的对应像素点的坐标相同，则xt还可以表示为第一掩码图M1在第二掩码图M2中摆放的横坐标位移，yt为第一掩码图M1在第二掩码图M2中摆放的纵坐标位移。

进一步的，横坐标位移和/或纵坐标位移的数值不同，也可以获得不同的训练样本图片Fc。

步骤S15，将第二掩码图M2进行模糊化处理(可以采用高斯模糊，也可以采用其他方式)，得到模糊掩码图M2’，且模糊区域的像素值位于(0,1)区间。

步骤S16，利用样本合成公式得到训练样本图片Fc，如图10所示；

样本合成公式为：Fc(x,y)＝B(x,y)*(1-M2’(x,y))+F2(x,y)*M2’(x,y)，(3)；

其中，x为背景图B、第二前景图F2、模糊掩码图M2’中对应点的横坐标，y为背景图B、第二前景图F2、模糊掩码图M2’中对应点的纵坐标。

该样本合成公式的目的在于，将第二前景图F2中多边形P内的缺陷保留，投影到背景图B中，从而合成训练样本图片Fc。

步骤S17，将所有通过随机扰动处理后得到的训练样本图片Fc及其对应的第二掩码图M2，整理成训练样本集合{Fc，M2}；

步骤S2，将训练样本集合{Fc，M2}中的训练样本图片Fc和对应的第二掩码图M2输入到一个初始化语义分割神经网络模型中，通过训练迭代得到收敛的语义分割神经网络模型N；

语义分割神经网络是一种能够对图片进行像素级分类的深度神经网络结构，其基本原理是通过图像金字塔结构的下采样和上采样，获取不同尺度上的图像视野，然后使用深度神经网络实现像素级的图像分类。训练过程实际上就是通过训练样本数据来对初始化语义分割神经网络结构中的各个初始化参数进行调整的过程，训练过程当中各个参数随着样本迭代会逐渐收敛于某个固定的值，从而达到整个神经网络的收敛。

本发明语义分割神经网络模型采用DeepLab v3网络模型，采用ResNet-50作为特征提取器，输出步长为16，将输出步长设置为16有利于可持续地快速训练。与另一个输出步长8相比，输出步长为16使得空洞残差块处理的特征图比步长为8时处理的特征图小四倍。

本发明将第二掩码图M2中的多边形P的投影区域作为真实标记区域掩码M’，然后分别将训练样本集合{Fc，M2}中的每一个训练样本图片Fc及其对应的第二掩码图M2，代入到初始化语义分割神经网络模型中，进行训练迭代；当语义分割神经网络模型得到的缺陷标记区域与真实标记区域掩码M’的平均交并比大于0.9时，则认为训练后的语义分割神经网络模型为收敛的语义分割神经网络模型N。

步骤S3，利用收敛的语义分割神经网络模型N对现场的真实图片进行缺陷检测。

将现场的真实图片的实际数据输入到收敛的语义分割神经网络模型N中，输出一个代表图像类别的数值，然后通过该数值来判断该现场的真实图片是否存在缺陷，如果该数值在某一范围内，则判断该现场的真实图片存在缺陷，如果该数值不在某一范围内，则判断该现场的真实图片不存在缺陷。

本发明的一种基于深度学习的钢卷端面缺陷检测方法，解决了样本太少导致训练效果不好的问题，其准确度和鲁棒性均表现良好，能够适用于绝大多数实际场景。相较于直接使用卷积神经网络的缺陷检测方法而言，各方面效果均有极大提升。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (10)

1.一种基于深度学习的钢卷端面缺陷检测方法，其特征在于，包括以下步骤:

步骤S1，批量合成带缺陷的训练样本，得到训练样本集合{Fc，M2}；

步骤S11，将一张没有缺陷的钢卷端面图作为背景图B，将一张有缺陷的钢卷端面图作为前景图F；

步骤S12，在前景图F中标记出缺陷所在区域的多边形P，新建一张尺寸与前景图F相同的掩码图M，将多边形P投影到掩码图M当中；

步骤S13，将前景图F和掩码图M以相同的参数进行随机扰动处理，每随机扰动处理一次，得到与该次随机扰动处理对应的第一前景图F1与第一掩码图M1；

步骤S14，根据背景图B的尺寸，将第一前景图F1生成与背景图B尺寸相同的第二前景图F2，将第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2；

步骤S15，将第二掩码图M2进行模糊化处理，得到模糊掩码图M2’；

步骤S16，利用样本合成公式得到训练样本图片Fc；

样本合成公式为：Fc(x,y)＝B(x,y)*(1-M2’(x,y))+F2(x,y)*M2’(x,y)；

其中，x为背景图B、第二前景图F2、模糊掩码图M2’中对应点的横坐标，y为背景图B、第二前景图F2、模糊掩码图M2’中对应点的纵坐标；

步骤S17，将所有通过随机扰动处理后得到的训练样本图片Fc以及其对应的第二掩码图M2，整理成训练样本集合{Fc，M2}；

步骤S2，将训练样本集合{Fc，M2}中的训练样本图片Fc和对应的第二掩码图M2输入到一个初始化语义分割神经网络模型中，通过训练迭代得到收敛的语义分割神经网络模型N；

步骤S3，利用收敛的语义分割神经网络模型N对现场的真实图片进行缺陷检测。

2.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S13中，进行随机扰动处理的方式至少包括以下一种方式或多种组合方式：旋转、放大、缩小、拉伸、变形。

3.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S12，掩码图M内多边形P投影区域内部所有像素值设为1，其余区域像素值设为0。

4.如权利要求3所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S15中，第二掩码图M2中的经模糊化处理后，模糊区域的像素值位于(0,1)区间。

5.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S14中，第一前景图F1与第二前景图F2之间的关系为：F2(x,y)＝F1(x+xt,y+yt)；

第一掩码图M1与第二掩码图M2之间的关系为：M2(x,y)＝M1(x+xt,y+yt)；

其中，xt为第一前景图F1在第二前景图F2中摆放的横坐标位移，yt为第一前景图F1在第二前景图F2中摆放的纵坐标位移。

6.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S14中，将第一前景图F1生成与背景图B尺寸相同的第二前景图F2的具体步骤如下：

首先，新建与背景图B尺寸相同的第一图片，然后，将第一前景图F1投影到第一图片中，将第一图片中第一前景图F1超出第一图片边界的部分裁减掉，将第一前景图F1不及第一图片边界的部分的像素值用0来补齐。

7.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S14中，将第一掩码图M1生成与背景图B尺寸相同的第二掩码图M2的具体步骤如下：

首先，新建与背景图B尺寸相同的第二图片，然后，将第一掩码图M1投影到第二图片中，将第二图片中第一掩码图M1超出第二图片边界的部分裁减掉，将第一掩码图M1不及第二图片边界的部分的像素值用0来补齐。

8.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S15，将第二掩码图M2进行模糊化处理的方式为高斯模糊。

9.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S2中，将第二掩码图M2中的多边形P的投影区域作为真实标记区域掩码M’，然后分别将训练样本集合{Fc，M2}中的每一个训练样本图片Fc及其对应的第二掩码图M2，代入到初始化语义分割神经网络模型中，进行训练迭代；当语义分割神经网络模型得到的缺陷标记区域与真实标记区域掩码M’的平均交并比大于0.9时，则认为训练后的语义分割神经网络模型为收敛的语义分割神经网络模型N。

10.如权利要求1所述的基于深度学习的钢卷端面缺陷检测方法，其特征在于，在步骤S3中，将现场的真实图片的实际数据输入到收敛的语义分割神经网络模型N中，输出一个代表图像类别的数值，然后通过该数值来判断该现场的真实图片是否存在缺陷。