CN113421223B - 基于深度学习和高斯混合的工业产品表面缺陷检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习和高斯混合的工业产品表面缺陷检测方法。借助在ImageNet上预训练的模型提取输入数据的表征信息；使用高斯混合模型拟合正常数据的表征分布；计算测试样本与正常数据表征分布之间的马氏距离作为该样本的异常值，利用少量缺陷数据获得阈值；借助阈值与异常值判断样本是否为缺陷产品。本发明实现了对工业产品表面缺陷更好的检测效果。

Description

基于深度学习和高斯混合的工业产品表面缺陷检测方法

技术领域

本发明涉及缺陷检测与计算机视觉领域，具体为一种基于深度学习和高斯混合的工业产品表面缺陷检测方法。

背景技术

随着全球工业进入4.0时代，在工业生产智能化、高效率、低成本、高质量的发展趋势下，对于工业产品缺陷检测的需求越来越大，标准也越来越高。工业生产过程中，由于技术限制、设备老化、环境污染等因素，不可避免地会生产出带有缺陷的产品。严重或过多的缺陷会降低产品的质量，尤其是对于像LCD、USB等具有精细电子线路结构的元件，最坏的情况下缺陷将导致产品无法使用。所以，准确地检测到工业生产过程中产品的缺陷对于工业生产意义重大。

目前，工业生产中所使用的缺陷检测方法大体可以分为三种。(1)人工检测方法。这种方法传统并且在中小企业中仍然广泛使用，但是由于工人技能水平不一，无法保持长期专注力等原因，导致这种方法存在效率低，准确率较差的缺陷。(2)借助专业设备的物理检测方法，其代表方法有：共振超声振动法、电子散斑干涉分析法等。然而这种方法也存在着专业设备造价成本较高，操作流程复杂的缺陷。(3)基于计算机视觉和深度学习，通过搭建、训练神经网络模型来实现缺陷检测。这种方法在人工智能火热发展后得到了更多的关注。相比于前两种方法，这种方法的优势在于降低了人力和设备成本，提高了检测效率的同时可以保持一个相对稳定的检测正确率，大大提升生产效益，实现了智能化的工业产品表面缺陷检测。

综合考虑经济效益与检测准确率等等因素，可以发现使用基于深度学习的工业产品缺陷检测方法是目前最佳的方法。然而，现有的基于深度学习的工业缺陷检测方法还存在着一些不足：(1)现存基于深度学习的工业产品表面缺陷检测方法往往需要事先收集大量缺陷产品的图片数据，而实际生产中缺陷产品数量占比较小，收集难度大。如：一种基于深度学习的光学元件表面缺陷检测方法(专利申请号：CN201910176202.4)和一种基于深度学习的手机外壳缺陷检测方法(专利申请号：CN201710034677.0)，在训练缺陷检测模型时需要采集大量的缺陷图像并进行人工标记；(2)同时当所收集到的产品图像中的物体摆放位置并不位于中央，且物体本身带有一定旋转角度时，传统的缺陷检测技术并不能实现较好的检测效果；(3)当产品发生更替时，现存方法往往需要重新训练新版模型来实现缺陷检测，需要花费大量的计算资源和时间。如：一种基于深度学习的工业产品缺陷检测方法(专利申请号：CN201910723845.6)在训练检测模型的过程中使用到了特定工业产品所对应的二元掩模图片，从而当产品更替时需要收集新的二元掩模图片，重新训练新的检测模型以达到较高的检测效果，耗费时间和计算资源。

因此，有必要设计一种基于深度学习的结构简单、检测率高的工业产品表面缺陷检测技术，应用于实际的工业生产过程中。

发明内容

本发明的目的在于提供一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，实现了对工业产品表面缺陷更好的检测效果。

为实现上述目的，本发明的技术方案是：一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，包括如下步骤：

S1、预先在ImageNet ILSVRC2012数据集上训练一个EfficienNet-B5网络模型；

S2、采集工业产品表面的图像数据，进行图像清理操作；

S3、选择正常产品数据即无缺陷产品的图像，使用步骤S1预训练网络模型提取图像表征信息；

S4、使用高斯混合模型拟合无缺陷产品表征信息的分布；

S5、使用少量缺陷产品数据，计算其表征信息和高斯混合模型的距离的加权求和作为异常值，选择当中的最小值作为缺陷检测阈值；

S6、计算测试样本的异常值，利用缺陷检测阈值来判断样本是否属于缺陷产品。

在本发明一实施例中，步骤S1中，使用在ImageNet数据集上借助分类任务预训练的EfficientNet-B5网络模型，利用ImageNet数据集的内容广泛性，该预训练的EfficientNet-B5网络模型可重复利用于不同的产品表征信息提取的过程中。

在本发明一实施例中，步骤S3中，仅选择正常产品数据来提取图像表征信息，目的在于应对实际生产中缺陷产品数量较少，收集困难的情况。

在本发明一实施例中，步骤S3中，提取图像表征信息的方法具体如下：

S31、图像输入预训练的EfficienNet-B5网络模型，在其前向传播中，提取其中9层尺寸分别为48×112×112，24×112×112，40×56×56，64×28×28，128×14×14，176×14×14，304×7×7，512×7×7，2048×7×7的特征图，尺寸格式为：通道数C×高H×宽W；

S32、对每层的特征图先后使用自适应平均池化，张量拉平，维度降低处理操作，获得代表该层特征图信息的向量，以上操作将每一通道维度的特征图平均池化到一个值，即最终获得一个维度数等于通道数的向量，即获得的代表9层的特征图向量的维度分别为48，24，40，64，128，176，304，512，2048；

S33、融合深层和浅层的特征图信息，将9层的向量相连接，作为输入图像的表征信息，即最终获得一个维度为3344的向量。

在本发明一实施例中，步骤S4中，使用高斯混合模型拟合无缺陷产品表征信息的分布，即生成多个高斯分布模型来拟合表征，以应对收集到的图像中产品存在旋转、位置偏移的情况，具体如下：

S41、高斯混合模型即若干个高斯模型的加权求和，高斯混合模型拟合过程使用EM算法优化多个高斯模型，使之更适合数据的分布，最终获得每个高斯模型的参数，包括均值向量、权重、协方差矩阵；

S42、对于输入的表征向量x，高斯混合模型可用下式表示：

其中，N(x|μ_k,Σ_k)称为高斯混合模型中的第k个分量，即第k个高斯模型；

ω_k是第k个高斯模型的权重，且满足

μ_k是第k个高斯模型的均值向量；

Σ_k是第k个高斯模型的协方差矩阵。

在本发明一实施例中，所述步骤S6具体实现如下：

S51、选择少量缺陷产品数据，提取它们的表征信息；

S52、对每个缺陷产品，计算其对应于高斯混合模型中的每个高斯模型的概率大小；

S53、分别计算缺陷产品对应高斯混合模型中的每个单一高斯模型的马氏距离；马氏距离用于计算点与一个分布之间的距离，其计算方式如下：

式中，x为缺陷样本的表征信息向量，μ∈R^D是单一高斯分布的均值向量，Σ∈R^D×D是单一高斯分布的协方差矩阵；

S54、对步骤S53中高斯混合模型的所有马氏距离进行加权求和，作为该缺陷产品的异常值，异常值大小代表该产品偏离正常产品分布的距离远近；

高斯混合模型中多个马氏距离的加权求和的计算公式如下：

式中，K为高斯混合模型中的单一高斯模型个数，weight_i为第i个高斯模型在高斯混合模型中的权重，probablity_i为缺陷产品对应于第i个高斯模型的概率，distance_i为缺陷产品对应于第i个高斯模型的马氏距离；

S55、选择并保存这批缺陷产品的异常值中的最小值作为本类产品的缺陷检测阈值。

在本发明一实施例中，步骤S6中利用缺陷检测阈值来判断测试样本是否为缺陷产品，即当测试样本的异常值大于等于阈值时，该测试样本被判断为是缺陷产品，否则为正常产品。

相较于现有技术，本发明具有以下有益效果：

1、本发明在建立缺陷产品检测系统时仅使用了少量缺陷产品数据，并不需要收集大量缺陷产品图像来训练模型，即避免了在收集工业产品数据时，缺陷产品数据需求量大但实际数量少的矛盾。

2、本发明在面对所收集到的工业图像中的物体并不位于中央位置，且带有一定随即旋转角度的情况时，能够利用高斯混合模型来建立多个高斯模型，从而更好地拟合上述情况下的数据分布。实验结果表明，对于上述存在位置偏移和随机旋转角度的产品图像，相比于使用单一高斯分布模型，使用高斯混合模型能够对各类产品平均提高约4％的检测准确率，即本发明能够实现对于测试产品更高的缺陷检测效果。

3、本发明实现检测所需要的计算资源更少。其他方法每次更换产品都需要重新训练新版模型，耗费大量计算资源和时间。本发明仅需提前预训练一个通用的卷积神经网络模型，当产品更替时，重复利用这个网络模型提取新产品数据的表征信息并建立高斯分布模型即可。实验中，当使用一张RTX-2080Ti-11G显卡重新训练一个CNN网络检测模型的时间往往需要数个甚至十数个小时，然而重新计算并建立高斯分布模型仅需要十几分钟。相比重新训练一版模型，本发明建立高斯分布所需要的时间更少。

4、本发明提出了一种新的利用不同层特征图的方式。首先提取不同层的特征图，然后分别对每层的特征图使用自适应平均池化，张量拉平，维度压缩操作，获得一个代表该层特征图的向量，最后将不同层的向量连接作为该输入图片数据的表征信息。这种方法不仅可以融合不同层的特征图信息来检测缺陷，而且方法更简单，在对多种工业产品的缺陷检测实验中，使用这种特征提取融合的方法平均可以达到95.6％的检测准确率，效果也较好。

附图说明

图1为本发明所提出的基于深度学习的工业产品缺陷检测方法流程图；

图2为本发明中使用到的高斯混合模型与缺陷检测阈值的计算流程图；

图3为本发明中使用到的对于EfficientNet-B5的表征信息提取方式流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于深度学习和高斯混合模型的工业产品表面缺陷检测方法，如图1所示，具体的实施包括以下步骤：

步骤1，使用高分辨率相机垂直固定在工业产品的上方，采集产品的图像数据。清理产品数据集，清除其中的模糊和无法分辨物体的图像。

步骤2，使用在ImageNet上预训练的CNN模型提取产品图像数据的表征信息。

作为优选，步骤2采取以下步骤：

步骤2.1，选择EfficientNet-B5作为本发明中的CNN网络，下载ImageNetILSVRC2012数据集。

步骤2.2，使用ImageNet ILSVRC2012训练集训练该网络模型完成图像分类任务，具体的设置如下：使用标准的Adam优化算法对模型进行训练，模型总共训练400个epoch，batchsize为256，训练的初始学习率为0.01，随着训练的epoch上升，学习率线性衰减，训练过程中使用FocallLoss损失函数。

步骤2.3，训练时对训练集中的图像数据进行增广变换，以增加数据的多样性，具体的增广变换方式包括：颜色变换(随机亮度调整、随机对比度调整、随机色调调整、随机灰度变换)，几何变换(随机角度旋转、随机放缩、固定尺寸裁剪、随机水平翻转、随机垂直翻转)。之后使用数据集的均值与标准差对图像进行标准化处理。

步骤2.4训练结束后，选择在测试集上分类准确率最高的模型作为预训练模型。

如图3所示，利用预训练模型提取输入图像数据的表征信息。

步骤2.5将产品的图像数据输入上一步所获得的预训练EfficientNet-B5模型，在前向传播过程中，保存并提取其中9层的特征图。

步骤2.6对每一层特征图进行自适应平均池化、张量拉平，维度降低的操作，得到代表该层特征图信息的一个向量。并将9层的向量按顺序连接，获得一个最终的向量，用以代表该图像的表征信息。如此便可以在后续操作中同时利用图像的浅层和深层信息。

步骤2中所使用的数据集为ImageNet ILSVRC2012，这是一个用于视觉对象识别软件研究的大型可视化数据库，其中包含有1000种不同类别、尺寸不一的物体图像。训练集包含130多万张带标签的图像，验证集包含5万多张带标签的图像。

步骤3，使用正常数据建立高斯混合模型，使用少量缺陷数据获得本类产品缺陷检测的阈值。

作为优选，如图2所示，步骤3采取以下步骤：

步骤3.1，对收集到的正常数据预处理，包括先将不同分辨率的图像放缩到256×256分辨率，随后对其采取中心裁剪方法，将图像裁剪到224×224分辨率，最后使用ImageNet数据集的标准差和均值对其进行标准化。

步骤3.1，将预处理后的正常数据经过预训练后的模型提取每个数据的表征信息。

步骤3.2，使用Python中的sklearn.Mixture.GaussianMixture模块来建立高斯混合模型，对于输入的表征向量x，高斯混合模型可用下式表示：

其中，N(x|μ_k,Σ_k)称为高斯混合模型中的第k个分量，即第k个高斯模型；

ω_k是第k个高斯模型的权重，且满足

μ_k是第k个高斯模型的均值向量；

Σ_k是第k个高斯模型的协方差矩阵。

本实例中，高斯混合模型的参数k＝3，即设置高斯混合模型包含3个高斯模型，最大迭代周期设置为max_iter＝50，其余参数保持默认值。使用GaussianMixture.fit()函数来拟合正常数据的表征信息，获得高斯混合模型的参数，即每个高斯模型的均值mean和协方差covariances。

步骤3.3，从步骤1中采集到的产品数据中随机抽取30张缺陷产品数据，将缺陷产品数据预处理后经过预训练网络模型，提取表征信息。

步骤3.4，对每个缺陷产品，分别计算其对应于高斯混合模型中的每个高斯模型的概率，使用Python中的GaussianMixture.predict()函数来获得该值。

步骤3.5，使用马氏距离公式分别计算每个缺陷产品和3个高斯模型的距离。马氏距离计算公式如下：

式中，x为缺陷样本的表征信息向量，μ∈R^D是单一高斯分布的均值向量，Σ∈R^D×D是单一高斯分布的协方差矩阵；

步骤3.6，计算缺陷产品对高斯混合模型中的多个高斯模型的距离的加权求和，计算公式如下：

式中，K为高斯混合模型中的单一高斯模型个数，weight_i为第i个高斯模型在高斯混合模型中的权重，probablity_i为缺陷产品对应于第i个高斯模型的概率，distance_i为缺陷产品对应于第i个高斯模型的马氏距离；

步骤3.7，选择30张缺陷产品的异常值中的最小值，作为该类产品的缺陷检测阈值。

步骤3.8，保存步骤3.2和3.6获得的正常产品的高斯混合模型的参数和该类产品的缺陷检测阈值。

步骤4，计算测试样本和正常数据高斯混合模型之间的马氏距离，作为该测试样本的异常值。

作为优选，步骤4采取以下步骤：

步骤4.1，对测试样本的图像数据进行预处理，其预处理步骤如步骤3.1中所示。

步骤4.2，对每个测试样本分别计算它对应于高斯混合模型中的每个高斯模型的概率。

步骤4.3，计算测试样本和它对应高斯混合模型的马氏距离的加权求和，作为该测试样本的异常值，如步骤3.6中所示。

步骤5，比较测试样本异常值和步骤3.7中保存的产品的缺陷检测阈值的相对大小。当测试样本的异常值大于等于阈值时，该测试样本被判断为是缺陷产品，否则被判断为正常产品。

本发明一种基于深度学习和高斯混合模型的工业产品表面缺陷检测方法，通过使用一个在ImageNet数据集上预训练的EfficientNet-B5模型来提取输入产品图像的表征信息，其中表征信息由对模型的浅层和深层特征图处理后连接而得到，即融合了浅层和深层的特征信息，更利于对于缺陷的检测。随后建立高斯混合模型来拟合正常产品的数据表征信息分布，以更好地适应收集到的图像中的产品存在旋转和位置偏移的情况。同时抽取少量缺陷产品数据来计算缺陷检测阈值。最后利用高斯混合模型和阈值来计算待测试产品的异常值，判断是否为缺陷产品。本方法对于缺陷产品的判断仅需要少量缺陷产品数据，避免了收集大量缺陷产品数据训练检测模型的困境，同时检测框架结构简单，检测速度快，准确率高，可移植性强。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，包括如下步骤：

S1、预先在ImageNet ILSVRC2012数据集上训练一个EfficienNet-B5网络模型；

S2、采集工业产品表面的图像数据，进行图像清理操作；

S3、选择正常产品数据即无缺陷产品的图像，使用步骤S1预训练网络模型提取图像表征信息；

S4、使用高斯混合模型拟合无缺陷产品表征信息的分布；

S5、使用少量缺陷产品数据，计算其表征信息和高斯混合模型的距离的加权求和作为异常值，选择当中的最小值作为缺陷检测阈值；

S6、计算测试样本的异常值，利用缺陷检测阈值来判断样本是否属于缺陷产品；

步骤S3中，提取图像表征信息的方法具体如下：

S31、图像输入预训练的EfficienNet-B5网络模型，在其前向传播中，提取其中9层尺寸分别为48×112×112，24×112×112，40×56×56，64×28×28，128×14×14，176×14×14，304×7×7，512×7×7，2048×7×7的特征图，尺寸格式为：通道数C×高H×宽W；

S32、对每层的特征图先后使用自适应平均池化，张量拉平，维度降低处理操作，获得代表该层特征图信息的向量，以上操作将每一通道维度的特征图平均池化到一个值，即最终获得一个维度数等于通道数的向量，即获得的代表9层的特征图向量的维度分别为48，24，40，64，128，176，304，512，2048；

S33、融合深层和浅层的特征图信息，将9层的向量相连接，作为输入图像的表征信息，即最终获得一个维度为3344的向量；

步骤S4中，使用高斯混合模型拟合无缺陷产品表征信息的分布，即生成多个高斯分布模型来拟合表征，以应对收集到的图像中产品存在旋转、位置偏移的情况，具体如下：

S41、高斯混合模型即若干个高斯模型的加权求和，高斯混合模型拟合过程使用EM算法优化多个高斯模型，使之更适合数据的分布，最终获得每个高斯模型的参数，包括均值向量、权重、协方差矩阵；

S42、对于输入的表征向量x，高斯混合模型可用下式表示：

其中，N(x|μ_k,Σ_k)称为高斯混合模型中的第k个分量，即第k个高斯模型，K为高斯混合模型中的单一高斯模型个数；

ω_k是第k个高斯模型的权重，且满足

μ_k是第k个高斯模型的均值向量；

Σ_k是第k个高斯模型的协方差矩阵；

所述步骤S5具体实现如下：

S51、选择少量缺陷产品数据，提取它们的表征信息；

S52、对每个缺陷产品，计算其对应于高斯混合模型中的每个高斯模型的概率大小；

S53、分别计算缺陷产品对应高斯混合模型中的每个单一高斯模型的马氏距离；马氏距离用于计算点与一个分布之间的距离，其计算方式如下：

式中，x为缺陷样本的表征信息向量，μ∈R^D是单一高斯分布的均值向量，Σ∈R^D×D是单一高斯分布的协方差矩阵；

S54、对步骤S53中高斯混合模型的所有马氏距离进行加权求和，作为该缺陷产品的异常值，异常值大小代表该产品偏离正常产品分布的距离远近；

高斯混合模型中多个马氏距离的加权求和的计算公式如下：

式中，weight_i为第i个高斯模型在高斯混合模型中的权重，probablity_i为缺陷产品对应于第i个高斯模型的概率，distance_i为缺陷产品对应于第i个高斯模型的马氏距离；

S55、选择并保存这批缺陷产品的异常值中的最小值作为本类产品的缺陷检测阈值。

2.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S1中，使用在ImageNet数据集上借助分类任务预训练的EfficientNet-B5网络模型，利用ImageNet数据集的内容广泛性，该预训练的EfficientNet-B5网络模型可重复利用于不同的产品表征信息提取的过程中。

3.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S3中，仅选择正常产品数据来提取图像表征信息，目的在于应对实际生产中缺陷产品数量较少，收集困难的情况。

4.根据权利要求1所述的基于深度学习和高斯混合的工业产品表面缺陷检测方法，其特征在于，步骤S6中利用缺陷检测阈值来判断测试样本是否为缺陷产品，即当测试样本的异常值大于等于阈值时，该测试样本被判断为是缺陷产品，否则为正常产品。

Images