CN113034483B - 基于深度迁移学习的烟支缺陷检测方法 - Google Patents

Abstract

本发明涉及基于深度迁移学习的烟支缺陷检测方法，属于烟支缺陷检测、图像处理技术领域。本发明通过CCD工业相机获取数据集，通过对图像裁剪、压缩、图像标准化等操作生成新的数据集；将数据集按7:3成训练集和测试集；获取VGG19网络模型，改进网络全连接层，将模型全连接层以前的所有网络作为瓶颈层，冻结瓶颈层的权重值并加入新的全连接层从而开始迁移学习；添加二分类Soft Max层进行检测分类、计算准确率、训练保存网络模型；获取并处理待检测烟支图片，调用已训练的网络模型进行预测分类。本发明所提供的基于深度迁移学习的烟支缺陷检测方法，对烟支缺陷检测具有更高的准确性。

Description

基于深度迁移学习的烟支缺陷检测方法

技术领域

本发明涉及基于深度迁移学习的烟支缺陷检测方法，属于烟支缺陷检测、图像处理技术领域。

背景技术

我国烟支生产量十分巨大，工业生产对烟支进行包装时，会存在破损、褶皱、黄斑等问题。传统方法处理这类问题是通过工作人员依靠肉眼检查是否有缺陷产品，该方法受到工人专注度制约，导致检测精度低、效率低，烟支缺陷问题以然存在，且所需人工成本高。随着图像处理技术的发展，不少学者提出了新的研究方法进行烟支缺陷检测，2018年肖峙宇采用边缘算子、滤波、分割等方法结合Matlab处理灰度值等过程检测烟支缺陷，最终的检测结果达到84.7％的准确率；2018年杨钰煊采用各种边缘检测方法并结合阈值分割进行烟支瑕疵检测，得到当参数值为0.35的阈值分割图像检测效果最佳；2019年周明等人应用CCD线阵相机和视觉算法结合检测烟支缺陷，最终分类准确率达到90.4％。这些检测方法虽然都取得了不错的检测率，但过程太复杂，无法保证运算的快速性，检测率也仍有一定的上升空间。随着图像处理技术的发展，利用深度学习检测烟支缺陷是一个新的研究方向。

发明内容

本发明提供了基于深度迁移学习的烟支缺陷检测方法，采用冻结瓶颈层权重值，只训练全连接层参数值，以用于解决小样本烟支数据集导致的过拟合问题，提高了小样本烟支数据检测精度。

本发明的技术方案是：基于深度迁移学习的烟支缺陷检测方法，首先获取VGG19网络模型，改进网络模型全连接层，将网络模型全连接层以前的所有网络作为瓶颈层，冻结瓶颈层的权重值并加入新的全连接层从而开始迁移学习；添加二分类Soft Max层进行检测分类、计算准确率、训练保存网络模型；获取并处理待检测烟支图片，调用已训练的网络模型进行预测分类。

作为本发明的进一步方案，所述方法的具体步骤如下：

步骤1、获取正常和缺陷的烟支图像数据集，采用SSD工业相机获取烟支的平展图像数据集，图像的尺寸为4096x800；

步骤2、对获取的烟支数据图像进行预处理；

步骤3、将已经预处理的烟支数据集按7：3划分为训练集和测试集；

步骤4、加载VGG19网络模型，改进其全连接层，将原来的三个全连接层1x1x4096、1x1x4096、1x1x1000改为1x1x4096、1x1x4096、1x1x2，并随机失活部分神经元，网络底层接入Soft Max层进行烟支缺陷分类；

步骤5、VGG19网络各层中的权重值是通过100万张数据集训练得到，将所有卷积层和池化层的每个神经元的权重值，从训练好的VGG19网络中迁移到一个全新的网络的过程称为迁移学习；此步骤是将VGG19网络全连接层以前的卷积层和池化层都划为瓶颈层，冻结瓶颈层的权重值，迁移冻结的权重值到改进的VGG19网络中，并等待加载训练集和测试集开始训练改进VGG19网络中三个全连接层的权重值，形成自己的预训练模型；

步骤6、定义一个优化器Adam，，用来更新学习梯度，并申明网络模型的学习率为0.001，同时设置计算网络模型损失公式和网络模型准确率计算公式；网络模型采用交叉熵损失函数：

其中：

是预测输出值，y是真实输出值；

步骤7、针对烟支缺陷分类问题，在改进的全连接层后面使用一个二分类的SoftMax分类器，从而对烟支是否存在缺陷进行分类，Soft Max分类器采用Logistic回归模型公式计算，公式如下：

其中，g(x)＝w₀+w₁x(1)+w₂x(2)+…w_nx(n),这里的w₀,w₁,…,w_n是神经网络中输入Soft Max层的各个神经元权重值的参数w；向量x＝[x(1),x(2),....x(k)]是由k个独立变量组成，x(k)代表k种样本类别，P(y＝1|x)代表标签值为1的x这种样本类别发生的可能性；

步骤8、加载划分好的758张训练集和344张测试集进行网络模型的迭代训练，训练过程中计算检测的正确率，绘制出正确率曲线图，并保存训练完成的模型数据；其中，可以设置迭代次数为10次和30次，计算出10个epoch和30个epoch的训练集正确率，以及10个epoch和30个epoch的测试集正确率；

步骤9、将待检测的数据集进行步骤2一样的预处理，随机抽取待检测烟支数据中一个batch_size的烟支图像，调用步骤8中已训练完成的模型对待检测烟支进行预测是否存在缺陷；如果烟支存在缺陷，剔除缺陷烟支，完成工业烟支缺陷检测。

作为本发明的进一步方案，所述步骤2中，对获取的烟支数据图像进行预处理包括如下：

(1)对数据集图像进行中心主体裁剪，裁剪的图像尺寸为2000x800，裁去非烟支信息；

(2)对数据集图像进行压缩处理，压缩尺寸为224x224，得到适合神经网络输入图像的大小；最终使得图像的大小满足VGG19网络的输入尺寸，便于网络对图像进行处理；

(3)对数据集图像进行水平方向翻折，扩充数据集的随意性；

(4)对数据集图像进行标准化处理，执行均值、标准差参数均为0.5的标准化操作，将图像像素归一化在[-1,1]的范围内。

作为本发明的进一步方案，所述步骤7中，当回归模型Logistic应用到分类问题中就产生了Soft Max分类器，Soft Max分类器的输入为样本特征，输出为样本属于各个类别的概率，训练样本集由k个被标签的样本构成：

T＝{(x(1),y(1)),(x(2),y(2)),…,(x(k),y(k))}

其中x(k)是k种样本类别，y(k)是分类标签，单个样本是第k种类别的概率为：

P[y(k)＝j|x(k)](j＝1,2,…,k)

其中j代表不同样本类别。

本发明的有益效果是：

1、本发明采用改进的VGG19网络进行迁移学习检测烟支缺陷，无需各种复杂操作过程提取烟支缺陷特征，利用卷积神经网络自动学习烟支缺陷特征，并对烟支是否存在缺陷进行快速精准的分类；

2、本发明采用冻结瓶颈层权重值，只训练全连接层参数值，解决了小样本烟支数据集导致的过拟合问题，提高了小样本烟支数据检测精度；

3、本发明深度学习神经网络模型来检测烟支缺陷，与以前的机器学习相比，本发明的检测率更高，检测速度更快。

附图说明

图1为本发明中的流程图；

图2为本发明中VGG19网络模型的结构示意图；

图3为本发明中10次、30次训练集和测试集的正确率曲线示意图；

图4为本发明中待检测烟支经模型预测结果示意图。

具体实施方式

实施例1：如图1-4所示，基于深度迁移学习的烟支缺陷检测方法，所述方法的具体步骤如下：

步骤1、获取正常和缺陷的烟支图像数据集，采用SSD工业相机获取烟支的平展图像数据集，图像的尺寸为4096x800；

步骤2、对获取的烟支数据图像进行预处理：

(1)对数据集图像进行中心主体裁剪，裁剪的图像尺寸为2000x800，裁去非烟支信息；

(2)对数据集图像进行压缩处理，压缩尺寸为224x224，得到适合神经网络输入图像的大小；最终使得图像的大小满足VGG19网络的输入尺寸，便于网络对图像进行处理；

(3)对数据集图像进行水平方向翻折，扩充数据集的随意性；

(4)对数据集图像进行标准化处理，执行均值、标准差参数均为0.5的标准化操作，将图像像素归一化在[-1,1]的范围内。

步骤3、将已经预处理的烟支数据集按7：3划分为训练集和测试集；本发明共采用数据集1102张，其中70％作为训练集，共758张烟支图像，正常烟支图像379张，缺陷烟支图像379张；另外30％的数据集图像作为测试集，共344张烟支图像，其中正常烟支图像172张，缺陷烟支图像172张；

步骤4、加载VGG19网络模型，改进其全连接层，将原来的三个全连接层1x1x4096、1x1x4096、1x1x1000改为1x1x4096、1x1x4096、1x1x2，并随机失活部分神经元，网络底层接入Soft Max层进行烟支缺陷分类；改进的VGG19网络模型共有16个卷积层、5个最大池化层、3个全连接层和1个Soft Max层；卷积层的卷积核尺寸为3x3、步长为1、Padding为2，池化层的池化尺寸为2x2，步长为1、Padding为0；各卷积层后的激活函数均为Relu函数，第一个全连接层和第二个全连接层后除了Relu激活函数外，还需要对部分神经元进行失活，第三个全连接层不需要激活函数，最后再接一个1x1x2的Soft Max层，具体网络结构如图2所示。

步骤5、VGG19网络各层中的权重值是通过100万张数据集训练得到，将所有卷积层和池化层的每个神经元的权重值，从训练好的VGG19网络中迁移到一个全新的网络的过程称为迁移学习；此步骤是将VGG19网络全连接层以前的卷积层和池化层都划为瓶颈层，冻结瓶颈层的权重值，迁移冻结的权重值到改进的VGG19网络中，并等待加载训练集和测试集开始训练改进VGG19网络中三个全连接层的权重值，形成自己的预训练模型；在训练三个全连接层的权重值时，第一个和第二个全连接层后面都要利用Dropout进行部分神经元失活，失活概率因子p为0.5；

步骤6、定义一个优化器Adam，，用来更新学习梯度，并申明网络模型的学习率为0.001，，用来更新学习梯度。Adam优化器计算效率高，对内存需求少，且能够自动学习率，如果学习过大或者过小都会错失最佳结果。同时此步骤还设置计算网络模型损失公式和网络模型准确率计算公式；网络模型采用交叉熵损失函数：

其中：

是预测输出值，y是真实输出值；

是经过VGG19网络模型预测分类出来的值，y是图像自带的标签值，如果这两个值相等，即预测准确。

步骤7、针对烟支缺陷分类问题，在改进的全连接层后面使用一个二分类的SoftMax分类器，从而对烟支是否存在缺陷进行分类，Soft Max分类器采用Logistic回归模型公式计算，公式如下：

其中，g(x)＝w₀+w₁x(1)+w₂x(2)+…w_nx(n),这里的w₀,w₁,…,w_n是神经网络中输入Soft Max层的各个神经元权重值的参数w；向量x＝[x(1),x(2),....x(k)]是由k个独立变量组成，x(k)代表k种样本类别，P(y＝1|x)代表标签值为1的x这种样本类别发生的可能性；

当回归模型Logistic应用到分类问题中就产生了Soft Max分类器，Soft Max分类器的输入为样本特征，输出为样本属于各个类别的概率，训练样本集由k个被标签的样本构成：

T＝{(x(1),y(1)),(x(2),y(2)),…,(x(k),y(k))}

其中x(k)是k种样本类别，y(k)是分类标签，单个样本是第k种类别的概率为：

P[y(k)＝j|x(k)](j＝1,2,…,k)

其中j代表不同样本类别，本发明是二分类，所以类别k的值为2。

步骤8、将步骤4至步骤7处理完成，开始加载划分好的758张训练集和344张测试集进行网络模型的迭代训练，训练过程中计算检测的正确率，绘制出正确率曲线图，并保存训练完成的模型数据；其中，设置迭代10次，计算出10个epoch的训练集正确率和10个epoch的测试集正确率，深度学习网络模型会随着迭代次数的增加，正确率会慢慢增加，为验证效果，再次设置迭代次数为30，可以看到结果随着迭代次数的增加，训练集的正确率稳定在96％以上，测试集正确率稳定在92％左右，具体训练数据如图3所示。

步骤9、将待检测的数据集进行步骤2一样的预处理，随机抽取待检测烟支数据中一个batch_size的烟支图像，调用步骤8中已训练完成的模型对待检测烟支进行预测是否存在缺陷；如果烟支存在缺陷，剔除缺陷烟支，完成工业烟支缺陷检测，最终实验结果一个batch size的16张图像全部快速准确的检测出是否有缺陷，数据结果如图4所示。

本发明从优劣程度的烟支图像数据集中随机抽出70％作为训练集，共758张烟支图像，其中正常烟支图像379张，缺陷烟支图像379张；另外随机抽取30％的数据图像作为测试集，共344张烟支图像，其中正常烟支图像172张，缺陷烟支图像172张。将训练集和测试集数据加载进入改进VGG19网络的模型中，并进行迁移学习训练，重复迭代训练10次，训练集的平均正确率为92.1％，随着迭代次数的增加，训练集的正确率在逐渐上升，其平均正确率也会越来越高；重复迭代训练10次，测试集的平均正确率为90.7％，随着迭代次数的增加，测试集的正确率在逐渐上升，其平均正确率也会越来越高。训练的数据结果如下表1所示。

表1.训练模型次数和正确率对比

从实验结果来看，本发明提出的基于深度迁移学习的烟支缺陷检测方法，迭代10次的平均检测率是90.7％，迭代30次的平均检测率是91.63％，且随着迭代次数增加以及烟支数据集的增加，平均检测率会继续提高，该方法的检测率比以前机器学习的方法检测率更高，具有较高的可行性，是烟支缺陷检测的一种新方向。相比与以前的机器学习方法，该方法能更好的完成烟支检测是否存在缺陷。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.基于深度迁移学习的烟支缺陷检测方法，其特征在于：首先获取VGG19网络模型，改进网络模型全连接层，将网络模型全连接层以前的所有网络作为瓶颈层，冻结瓶颈层的权重值并加入新的全连接层从而开始迁移学习；添加二分类Soft Max层进行检测分类、计算准确率、训练保存网络模型；获取并处理待检测烟支图片，调用已训练的网络模型进行预测分类；

所述方法的具体步骤如下：

步骤1、获取正常和缺陷的烟支图像数据集，采用SSD工业相机获取烟支的平展图像数据集；

步骤2、对获取的烟支数据图像进行预处理；

步骤3、将已经预处理的烟支数据集划分为训练集和测试集；

步骤4、加载VGG19网络模型，改进其全连接层，将原来的三个全连接层1x1x4096、1x1x4096、1x1x1000改为1x1x4096、1x1x4096、1x1x2，并随机失活部分神经元，网络底层接入Soft Max层进行烟支缺陷分类；

步骤5、将VGG19网络全连接层以前的卷积层和池化层都划为瓶颈层，冻结瓶颈层的权重值，迁移冻结的权重值到改进的VGG19网络中，并等待加载训练集和测试集开始训练改进VGG19网络中三个全连接层的权重值；

步骤6、定义一个优化器Adam，并申明网络模型的学习率为0.001，同时设置计算网络模型损失公式和网络模型准确率计算公式；网络模型采用交叉熵损失函数：

其中：

是预测输出值，y是真实输出值；

步骤7、针对烟支缺陷分类问题，在改进的全连接层后面使用一个二分类的Soft Max分类器，从而对烟支是否存在缺陷进行分类，Soft Max分类器采用Logistic回归模型公式计算，公式如下：

其中，g(x)＝w₀+w₁x(1)+w₂x(2)+…w_nx(n),这里的w₀,w₁,…,w_n是神经网络中输入SoftMax层的各个神经元权重值的参数w；向量x＝[x(1),x(2),....x(k)]是由k个独立变量组成，x(k)代表k种样本类别，P(y＝1|x)代表标签值为1的x这种样本类别发生的可能性；

步骤8、加载训练集和测试集进行网络模型的迭代训练，训练过程中计算检测的正确率，绘制出正确率曲线图，并保存训练完成的模型数据；

步骤9、将待检测的数据集进行图像预处理，调用已训练完成的模型对待检测烟支进行预测是否存在缺陷，如果烟支存在缺陷，剔除缺陷烟支，完成烟支是否存在缺陷检测。

2.根据权利要求1所述的基于深度迁移学习的烟支缺陷检测方法，其特征在于：所述步骤2中，对获取的烟支数据图像进行预处理包括如下：

(1)对数据集图像进行中心主体裁剪，裁去非烟支信息；

(2)对数据集图像进行压缩处理，得到适合神经网络输入图像的大小；

(3)对数据集图像进行水平方向翻折，扩充数据集的随意性；

(4)对数据集图像进行标准化处理，执行均值、标准差参数均为0.5的标准化操作，将图像像素归一化在[-1,1]的范围内。

3.根据权利要求1所述的基于深度迁移学习的烟支缺陷检测方法，其特征在于：所述步骤7中，当回归模型Logistic应用到分类问题中就产生了Soft Max分类器，Soft Max分类器的输入为样本特征，输出为样本属于各个类别的概率，训练样本集由k个被标签的样本构成：

T＝{(x(1),y(1)),(x(2),y(2)),…,(x(k),y(k))}

其中x(k)是k种样本类别，y(k)是分类标签，单个样本是第k种类别的概率为：

P[y(k)＝j|x(k)] (j＝1,2,…,k)

其中j代表不同样本类别。

Images