CN113888485A - 一种基于深度学习的磁芯表面缺陷的检测方法 - Google Patents

Abstract

本方法公开一种基于深度学习的磁芯表面缺陷的检测方法，首先采集磁芯所有的正反面图像，进行预处理，对其缺陷部位进行提取，输入经高斯混合模型改进的深度卷积生成对抗网络，将提取的缺陷集通过训练生成新的缺陷图像，再将得到的新图像与完好的磁芯图像进行泊松融合，然后制作成标准的数据集，划分训练集和验证集。接着将训练集图像输入YOLO‑v3神经网络中进行训练，提出一种新的训练策略，设置训练参数，并将完成训练的网络作为磁芯表面缺陷检测模型，从而识别出磁芯的类别信息和位置信息。本发明的方法识别更快、更准确。

Description

一种基于深度学习的磁芯表面缺陷的检测方法

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于深度学习的磁芯表面缺陷的检测方法。

背景技术

随着社会的不断发展，工业自动化的程度也越来越高，然而在提高生产效率的同时，产品存在的缺陷问题也依旧困扰着许多制造商。而且，存在质量问题的产品流入市场，可能会更大的经济损失和安全威胁。目前大多数厂商任然采用人工质检的方法检测产品缺陷，这样做极大的浪费了人力资源，还存在漏检、误检的情况。为了改善人工之间存在的问题，加快检测时间和检测准确率，在生产线质量检测环节采用机器视觉、模式识别等智能检测方式来替代人工检测的方法已经成为工业发展的趋势。

电子元器件在日常生活中的应用场合越来越多，比如人们生活中的手机、冰箱、空调等，其中一种重要的电子元器件就是磁芯。面对如此多的需求，生产厂商必须在生产加工过程中对缺陷产品进行严格的把控和检测，由于生产加工的缺陷和运输过程中的摩擦、碰撞现象，造成磁芯表面出现各种缺陷，严重影响质量。

发明内容

针对现有的磁芯缺陷检测质量低，漏检、误检多的现状，本发明提出一种基于深度学习的磁芯表面缺陷的检测方法，具体技术方案如下：

一种基于深度学习的磁芯表面缺陷的检测方法，该方法具体包括如下步骤：

S1：采集所有磁芯的正反面图像，并进行预处理，提升图片中缺陷部分的对比度；然后将图片中的缺陷部位提取出来，转成64*64大小的图片，形成图像集合X＝{x₁，x₂，x₃…x_n}，n为图像的数量；

S2：将图像集合X通过引入高斯混合模型优化后的深度卷积对抗生成网络进行训练，建立图像生成网络G和判别网络D，对图像生成网络G参数θ_g和判别网络D的参数θ_d进行训练，生成新的缺陷图像；

S3：将S2生成的新的缺陷图像与无缺陷的完整磁芯图像相融合，得到带有若干缺陷的融合后磁芯图像；

S4：将S3得到的融合后磁芯图像与S1中采集的磁芯的正反面图像混合，形成扩增数据集，并对数据集中的图像标注磁芯在图像中的位置和图像中的缺陷种类，然后将数据集划分为训练集和验证集；

S5：采用所述训练集对YOLO-v3网络模型进行训练，得到优化的YOLO-v3网络模型，作为磁芯表面缺陷检测模型；

S6：将待检测的磁芯图像输入磁芯表面缺陷检测模型中，模型输出待检测的磁芯图像中的缺陷的类别和位置信息。

进一步地，所述S2具体包括如下子步骤：

S2.1：随机生成均匀噪声，一种噪声对应磁芯的一类缺陷，噪声各维均值μ＝{μ₁，μ₂，μ₃…μ_K}，噪声间协方差对角矩阵σ＝[σ_j1，σ_j2，σ_j3…σ_jK]，通过均值μ和协方差对角矩阵σ构建高斯混合模型；

所述高斯混合模型的概率密度函数如下：

其中，N(z|μ_k，∑_k)为第k个高斯模型的概率密度函数，μ_k为高斯分布的均值向量，∑_k为协方差矩阵，K为自变量的维数，ω_k为第k个高斯模型的权重，且满足

S2.2：初始化深度卷积对抗生成网络中的图像生成网络G和判别网络D的参数θ_g和θ_d；

S2.3：将S2.1的高斯混合模型输出的复杂噪声输入图像生成网络G中，得到n张生成缺陷图像集合

再将S1中得到的图像集合X＝{x₁，x₂，x₃…x_n}和缺陷图像集合

输入判别网络D中，判别图像真伪，并将输出的D(x_i)和

反馈给生成网络G，由图像生成网络G更新自身参数θ_g后，继续噪声生成缺陷图像；

重复上述操作，并根据如下的目标函数进行多次优化训练，从而得到优化后的生成网络G；

优化训练过程中，参数θ_g和θ_d通过如下公式进行自身的更新：

其中，

表示目标函数关于参数θ_d的梯度，

表示目标函数关于参数θ_g的梯度，ω表示学习率；

S2.4：将S2.1的高斯混合模型输出的复杂噪声输入优化后的生成网络G，输出缺陷部位的图片，每个图片中的缺陷为单一缺陷，从而得到新的缺陷图片集合。

进一步地，所述S3具体包括如下子步骤：

S3.1：在无缺陷的完整磁芯图像上预定位出若干个融合区域；

S3.2：在梯度场的基础上求解缺陷图像和无缺陷的完整磁芯图像融合后区域的像素值，构建能够使两个图像自然融合的融合目标函数，同时，根据融合后图像融合区域边界像素值等于背景图像像素值的约束条件，采用雅可比迭代进行数值求解，得到融合后缺陷融合区域各点的像素值，最终获得平滑的融合后磁芯图像；

所述融合目标函数为：

所述约束条件

其中，Ω表示融合后无缺陷的完整磁芯图像中被缺陷图像所覆盖的区域，

是Ω的边界，f表示融合后图像在Ω内的像素表示函数，f^*表示融合后图像在Ω外的像素表示函数；

为散度算子。

进一步地，所述S5具体包括如下子步骤：

S5.1：对磁芯训练集进行K-Means值聚类计算，获取适应于本训练集的anchor box值，对原anchor box值进行更新；

S5.2：根据3*(classes+5)修改YOLO-v3网络模型结构中每一个yolo层的上一卷积层中filters的参数；其中，classes为训练集中图片的类别数；

S5.3：在YOLO-v3网络模型中加入学习率余弦退火策略，根据下式计算最终学习率η_t，从而在模型损失值接近全局最小值时，调整学习率，使模型的损失值达到全局最小，增加分类和识别准确率，公式如下：

其中，T_j为第j次热重启时模型训练的总的迭代次数，T_cur为已执行迭代次数；

和

分别表示预设的学习率的最大值和最小值。

进一步地，所述S5的YOLO-v3网络模型训练过程中，冻结前50代的模型特征提取网络，只训练分类网络，在50代之后解冻，将模型的特征提取网络和分类网络一起训练，以此加快模型的训练，得到最好的权值文件。

进一步地，所述

和

分别为0.01和0.001。

本发明的有益效果如下：

(1)本发明通过高斯混合模型和深度卷积对抗生成网络相结合，从而扩充了训练样本的数量和多样性，降低了训练样本不足对缺陷识别网络准确率的影响。

(2)本发明的方法中通过泊松融合和预定位的图像融合方法，解决了图像融合问题，加强了样本的真实性，更加趋近于真实生产环境中的磁芯图像。

(3)本发明对缺陷检测网络进行优化，通过改变网络参数和提出新的训练策略，降低了训练时间，增加了识别准确率。

(4)本发明将深度学习目标检测算法应用到磁芯自动缺陷检测的问题上，有效地提高了工厂的生产效率，大大降低了工厂的生产成本，节省了人力、物力资源。

附图说明

图1为本发明的基于深度学习的磁芯表面缺陷的检测方法的流程图；

图2为从原数据集中提取的缺陷部位图片，即X{x₁，x₂，x₃…x_n}；

图3为优化后的深度卷积对抗生成网络模型的示意图；

图4为采用深度卷积对抗生成网络方法与采用本发明的高斯混合深度卷积对抗生成网络生成缺陷图片对比图，其中，左图为深度卷积对抗生成网络的生成效果，右图为高斯混合深度卷积对抗生成网络生成效果。

图5为采用普通的图像融合方法与本发明的泊松融合的融合对比图，其中，左图为普通的图像融合结果，右图为泊松融合结果。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的原理为：首先通过工业摄像机获取磁芯表面的正面和反面图片并进行预处理，得到一个原始数据集，然后将原始数据集中磁芯缺陷部分提取出来，将提取出来的缺陷图片作为真实数据送入改进后的深度卷积对抗生成网络进行训练，生成新的缺陷图片，再将此缺陷图像作为目标图像与良好的磁芯图像通过泊松融合进行图像融合，形成扩增的数据集。再将数据集进行划分，通过训练集对YOLO-v3网络模型进行训练，优化模型的参数和训练策略，得到最终的磁芯表面缺陷检测模型，进行磁芯的表面缺陷检测。

本发明具体实施流程如图1所示。

S1：采集所有磁芯的正反面图片，并进行预处理，提升图片中缺陷部分的对比度；然后将图片中的缺陷部位提取出来，转成64*64大小的图片，形成输入图像集合X{x₁，x₂，x₃…x_n}，n为图像的数量，图像数据集X部分数据如图2所示，将其作为对抗生成网络的输入，以其为基准生成类别相同信息各异的图片；作为其中一种实施方式，预处理包括使用Laplacian算子图像进行锐化和使用三阶段线性变换方法对图像进行增强处理。

S2：将S1处理后得到的图片通过提出的高斯混合深度卷积对抗生成网络进行训练，高斯混合深度卷积对抗生成网络结构如图3所示，通过均匀噪声构建混合高斯模型，作为生成网络G的输入，同时建立图像生成网络G和判别网络D，对图像生成网络G参数θ_g和判别网络D的参数θ_d进行训练，生成新的缺陷图像，具体步骤如下：

S2.1随机生成均匀噪声，得到噪声各维均值μ＝{μ₁，μ₂，μ₃…μ_K}和噪声间协方差对角矩阵σ＝[σ_j1，σ_j2，σ_j3…σ_jK]，通过均值μ和协方差对角矩阵σ构建高斯混合模型，并将该高斯混合模型输出作为深度卷积对抗生成网络的生成器的输入；所述高斯混合模型的概率密度函数如下：

其中N(z|μ_k，∑_k)为第k个高斯模型的概率密度函数，μ_k为高斯分布的均值向量，∑_k为协方差矩阵，K自变量的维数，ω_k为第k个高斯模型的权重，且满足

磁芯的每一类缺陷对应一个高斯模型，并将K个高斯分布的权重均定义为1/K，因此，将公式(1)的概率密度函数转换公式(2)：

S2.2：初始化深度卷积对抗生成网络中的图像生成网络G和判别网络D的参数θ_g和θ_d；

S2.3：将S2.1的高斯混合模型输出的噪声输入图像生成网络G中，得到n张生成缺陷图像

再将S1中得到的输入图像集合X{x₁，x₂，x₃…x_n}和缺陷图像

输入判别网络D中，判别图像真伪，并将输出的D(x_i)和

反馈给生成网络G，重复上述操作，并根据公式(3)的目标函数进行多次优化训练，从而得到优化后的生成网络G；

其中，

是由生成网络G生成的图像数据；

优化训练过程中，参数θ_g和θ_d分别通过如下公式进行自身的更新

其中，

表示目标函数关于参数θ_d的梯度，

表示目标函数关于参数θ_g的梯度，ω＝0.05表示学习率；

S2.6：将S2.1的高斯混合模型输出的噪声输入优化后的生成网络G，输出缺陷部位的图片，每个图片中的缺陷为单一缺陷；然后生成缺陷图片集合，采用深度卷积对抗生成网络方法与采用本发明的高斯混合深度卷积对抗生成网络生成缺陷图片对比如图4所示，如图所示，本发明高斯混合深度卷积对抗生成网络生成的磁芯缺陷图片边缘更明显、清晰，并且有效图片更多；

S3：将S2生成的缺陷图片集合中的缺陷图像与无缺陷的完整磁芯图像相融合，融合后的磁芯图像带有数量不定的缺陷；

S3.1：在无缺陷的完整磁芯图像上预定位出若干个融合区域；

S3.2：在梯度场的基础上求解缺陷图像和无缺陷的完整磁芯图像融合后区域的像素值，构建能够使两个图像自然融合的融合目标函数，同时，根据融合后图像融合区域边界像素值等于背景图像像素值的约束条件，采用雅可比迭代进行数值求解，得到融合后缺陷融合区域各点的像素值，最终获得平滑的融合后磁芯图像；

所述融合目标函数为：

(4)

所述约束条件

(5)

所述目标函数通过如下方式推导求解：

由变分理论知，欧拉-拉格朗日条件是式(4)变分问题存在极值的必要条件，故令

v_x，v_y为两个方向上的结果图梯度和目标图像的梯度。将式(5)代入欧拉-拉格朗日方程得

化简得到泊松方程：

Δf＝div v (8)

其中，Ω表示融合后无缺陷的完整磁芯图像中被缺陷图像所覆盖的区域，

是Ω的边界，f表示融合后图像在Ω内的像素表示函数，f^*表示融合后图像在Ω外的像素表示函数；Δ为拉普拉斯算子，div为散度算子，v是缺陷图像像素的散度；由拉普拉斯算子的离散形式可知，矩阵A严格对角占优，故雅可比迭代收敛，方程(8)存在唯一解，且由边界条件确定。普通融合和本发明融合效果对比图如图5所示，通过对比图可知，普通融合的图像中缺陷图像与背景图像有明显差异，而本发明融合效果良好、自然，缺陷图像与背景图像之间没有差异，更趋于真实拍摄图像。。

S4：将S3得到的融合后图像与S1中采集的所有磁芯的正反面图片混合，形成扩增后新的数据集，使用LabelImg软件对数据集进行标注，标注的信息包括磁芯在图片里的位置信息和缺陷种类信息，然后将数据集划分为训练集、验证集。

S5对YOLO-v3网络模型的参数进行优化，提出新的学习率和训练策略，再将S4所属的训练集输入到优化后的YOLO-v3网络结构中，训练得到最后的缺陷检测模型，具体步骤如下：

S5.1对磁芯训练集进行K-Means值聚类计算，获取适应于本训练集的anchor box值，对原anchor box值进行更新；

S5.2根据3*(classes+5)修改YOLO-v3网络模型结构中每一个yolo层的上一卷积层中filters的参数；其中，classes为训练集中图片的类别数。

S5.3：在模型中加入学习率余弦退火策略，根据公式(8)计算最终学习率η_t，从而使模型损失值接近全局最小值时，调整学习率，使模型的损失值达到全局最小，增加分类和识别准确率，公式如下：

其中，T_j为第j次热重启时模型训练的总的迭代次数，T_cur为已执行迭代次数；

和

分别表示预设的学习率的最大值和最小值，本模型中分别为0.01和0.001。

S5.4冻结前50代的模型特征提取网络，只训练分类网络，在50代之后解冻，将模型的特征提取网络和分类网络一起训练，以此加快模型的训练，得到最好的权值文件，并使用验证集验证模型，生成最后的磁芯表面缺陷检测模型。

S6：将待检测的磁芯图像输入优化后的YOLO-v3网络模型中，输出该待检测的磁芯图像的缺陷的类别信息和位置信息。

表1为分别采用原始数据集和扩增后的数据集对磁芯图像识别后的检测结果，采用本发明的方法扩增后的数据集的检测精度明显高于原始数据集。

表1不同数据集检测结果

识别分类	原始数据	扩增后数据
			正面斑点	0.845	0.921
反面斑点	0.889	0.933
			正面划痕	0.866	0.968
反面划痕	0.854	093
			正面良好	0.904	0.918
反面良好	0.915	0.939

本发明可以通过少量的缺陷图片进行数据扩充，由深度卷积对抗生成网络生成新的缺陷，解决了深度学习中数据量样本不足的问题，而且生成新的缺陷可以增加缺陷识别网络的鲁棒性；对卷积对抗网络进行优化，增强了生成图像的质量；使用了泊松融合进行图像融合，使扩增的图像边界更为自然，更加趋近于真实图像；对缺陷检测网络进行参数优化和训练策略设计，减少了训练时间，增加了识别准确率。克服了传统人工质检方法的不足，不需要人工对有缺陷的磁芯进行质检和分类，在一定程度上节约了时间，有效的提高了工厂的生产效率，大大降低了工厂的生产成本。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (6)

1.一种基于深度学习的磁芯表面缺陷的检测方法，其特征在于，该方法具体包括如下步骤：

S1：采集所有磁芯的正反面图像，并进行预处理，提升图片中缺陷部分的对比度；然后将图片中的缺陷部位提取出来，转成64*64大小的图片，形成图像集合X＝{x₁，x₂，x₃…x_n}，n为图像的数量；

S2：将图像集合X通过引入高斯混合模型优化后的深度卷积对抗生成网络进行训练，建立图像生成网络G和判别网络D，对图像生成网络G参数θ_g和判别网络D的参数θ_d进行训练，生成新的缺陷图像；

S3：将S2生成的新的缺陷图像与无缺陷的完整磁芯图像相融合，得到带有若干缺陷的融合后磁芯图像；

S4：将S3得到的融合后磁芯图像与S1中采集的磁芯的正反面图像混合，形成扩增数据集，并对数据集中的图像标注磁芯在图像中的位置和图像中的缺陷种类，然后将数据集划分为训练集和验证集；

S5：采用所述训练集对YOLO-v3网络模型进行训练，得到优化的YOLO-v3网络模型，作为磁芯表面缺陷检测模型；

S6：将待检测的磁芯图像输入磁芯表面缺陷检测模型中，模型输出待检测的磁芯图像中的缺陷的类别和位置信息。

2.根据权利要求1所述的基于深度学习的磁芯表面缺陷的检测方法，其特征在于，所述S2具体包括如下子步骤：

S2.1：随机生成均匀噪声，一种噪声对应磁芯的一类缺陷，噪声各维均值μ＝{μ₁，μ₂，μ₃…μ_K}，噪声间协方差对角矩阵σ＝[σ_j1，σ_j2，σ_j3…σ_jK]，通过均值μ和协方差对角矩阵σ构建高斯混合模型；

所述高斯混合模型的概率密度函数如下：

其中，N(z|μ_k，∑_k)为第k个高斯模型的概率密度函数，μ_k为高斯分布的均值向量，∑_k为协方差矩阵，K为自变量的维数，ω_k为第k个高斯模型的权重，且满足

S2.2：初始化深度卷积对抗生成网络中的图像生成网络G和判别网络D的参数θ_g和θ_d；

S2.3：将S2.1的高斯混合模型输出的复杂噪声输入图像生成网络G中，得到n张生成缺陷图像集合

再将S1中得到的图像集合X＝{x₁，x₂，x₃…x_n}和缺陷图像集合

输入判别网络D中，判别图像真伪，并将输出的D(x_i)和

反馈给生成网络G，由图像生成网络G更新自身参数θ_g后，继续噪声生成缺陷图像；

重复上述操作，并根据如下的目标函数进行多次优化训练，从而得到优化后的生成网络G；

优化训练过程中，参数θ_g和θ_d通过如下公式进行自身的更新：

其中，

表示目标函数关于参数θ_d的梯度，

表示目标函数关于参数θ_g的梯度，ω表示学习率；

S2.4：将S2.1的高斯混合模型输出的复杂噪声输入优化后的生成网络G，输出缺陷部位的图片，每个图片中的缺陷为单一缺陷，从而得到新的缺陷图片集合。

3.根据权利要求1所述的基于深度学习的磁芯表而缺陷的检测方法，其特征在于，所述S3具体包括如下子步骤：

S3.1：在无缺陷的完整磁芯图像上预定位出若干个融合区域；

S3.2：在梯度场的基础上求解缺陷图像和无缺陷的完整磁芯图像融合后区域的像素值，构建能够使两个图像自然融合的融合目标函数，同时，根据融合后图像融合区域边界像素值等于背景图像像素值的约束条件，采用雅可比迭代进行数值求解，得到融合后缺陷融合区域各点的像素值，最终获得平滑的融合后磁芯图像；

所述融合目标函数为：

所述约束条件

其中，Ω表示融合后无缺陷的完整磁芯图像中被缺陷图像所覆盖的区域，

是Ω的边界，f表示融合后图像在Ω内的像素表示函数，f^*表示融合后图像在Ω外的像素表示函数；

为散度算子。

4.根据权利要求1所述的基于深度学习的磁芯表面缺陷的检测方法，其特征在于，所述S5具体包括如下子步骤：

S5.1：对磁芯训练集进行K-Means值聚类计算，获取适应于本训练集的anchor box值，对原anchor box值进行更新；

S5.2：根据3*(classes+5)修改YOLO-v3网络模型结构中每一个yolo层的上一卷积层中filters的参数；其中，classes为训练集中图片的类别数；

S5.3：在YOLO-v3网络模型中加入学习率余弦退火策略，根据下式计算最终学习率η_t，从而在模型损失值接近全局最小值时，调整学习率，使模型的损失值达到全局最小，增加分类和识别准确率，公式如下：

其中，T_j为第j次热重启时模型训练的总的迭代次数，T_cur为已执行迭代次数；

和

分别表示预设的学习率的最大值和最小值。

5.根据权利要求4所述的基于深度学习的磁芯表面缺陷的检测方法，其特征在于，所述S5的YOLO-v3网络模型训练过程中，冻结前50代的模型特征提取网络，只训练分类网络，在50代之后解冻，将模型的特征提取网络和分类网络一起训练，以此加快模型的训练，得到最好的权值文件。

6.根据权利要求4所述的基于深度学习的磁芯表面缺陷的检测方法，其特征在于，所述

和

分别为0.01和0.001。

Images