CN111462068A - 一种基于迁移学习的螺钉螺母检测方法 - Google Patents

Abstract

本发明公开的一种基于迁移学习的螺钉螺母检测方法，包括以下步骤：获取螺钉螺母图像，建立数据集，对数据集进行数据增强；构建基于迁移学习第一网络模型并进行对比，选择最优网络模型；修改最优网络模型的全连接层，重新添加用于识别螺钉螺母的全连接层，构建迁移学习第二网络模型；通过数据集对迁移学习第二网络模型进行训练，得到螺钉螺母识别模型；利用迁移学习第二网络模型，对检测结果进行判断，得到检测结果；本发明采用迁移学习，并利用适当的因子卷积和正则化方法对网络进行放大，提高了网络的附加计算效率，通过固定部分的训练权值和调整部分层的结构，提高了模型的精确率，减少了训练时间，解决了数据集不足的问题。

Description

一种基于迁移学习的螺钉螺母检测方法

技术领域

本发明涉及图像处理、目标检测和机器学习领域，特别涉及一种基于迁移学习的螺钉螺母检测方法。

背景技术

螺钉和螺母被称为工业大米，它们广泛存在于大大小小的工业设备中。而在许多场景下，螺钉和螺母的检测与定位是非常重要的。例如在设备运维质检中，需要采用远程图像识别技术，定位螺钉螺母和其他的元件进行初步的远程质量安检，能够显著节约人力成本并提高准确率。在工业流水生产线上对螺钉和螺母进行识别和分类同时进行相应的匹配，能更好的实现工业流水线上无人化，能极大的提高生产效率。

传统的工业器件检测方法包括图像预处理和图像识别。首先将每一个像素图像分检出来交给识别模块，对原图像进行灰度化处理生成灰度矩阵，中值滤波去噪声。其次采用SVM支持向量机对几何特征参数进行处理，通过分析各个参数的分布区间来将目标和周围背景区分开，找出其中具有能区分功能的决定性的几何特征参数。最后通过提取的特征进行图像检测，但是这些特征存在局限性，采用传统的提取特征方法流程繁琐，效率低。

目前结合深度学习进行图像处理成为一种新的趋势，深度学习通过模拟类似人脑的层次结构建立了从低级信号到高层语义的映射，以实现数据的分级特征表达，具有强大的视觉信息处理能力。使用深度学习网络检测工业器件的方法很多，主要受到下面原因的限制：

(1)总体来说螺钉螺母尺寸较小，在整张图片的占比相对也小，对整个系统的小物体检测能力要求高。

(2)深度学习往往需要相对大的数据集才能取得很高精度的模型，识别也会达到一个很高的准确度，而工业器件的数据集数量较少，采集数据也比较困难，尤其是螺钉螺母。

(3)工业器件里数据集的识别难度不一样，为了使模型聚焦在难识别样本的学习，需要对模型的算法做出相应的调整。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于迁移学习的螺钉螺母检测方法，基于Inception-v3，利用适当的因子卷积和正则化方法对网络进行放大，提高了网络的附加计算效率，通过固定部分的训练权值和调整部分层的结构，一开始设定较大的学习率，随着训练次数的增加，慢慢减小学习率，保证了模型的收敛速度并且能够很好的保留先前获得的参数。这样显着的提高了模型的精确率，减少了训练时间，解决了数据集不足的问题。

本发明的目的通过以下的技术方案实现：

一种基于迁移学习的螺钉螺母检测方法，其特征在于，包括以下步骤：

S1、获取螺钉螺母图像，建立数据集，对数据集进行数据增强；

S2、构建基于迁移学习第一网络模型并进行对比，选择最优网络模型；

S3、修改最优网络模型的全连接层，重新添加用于识别螺钉螺母的全连接层，构建迁移学习第二网络模型；

S4、通过数据集对迁移学习第二网络模型进行训练，得到螺钉螺母识别模型；

S5、利用迁移学习第二网络模型，对检测结果进行判断，得到检测网络。

进一步地，所述步骤S1具体为：获取螺钉螺母图像，建立数据集，对该数据集进行数据增强处理，扩大数据集，把数据集分为训练集和测试集；所述数据增强处理包括翻转、裁剪、旋转、叠加噪声。

进一步地，所述把数据集分为训练集和测试集，即在分层采样的基础上，将数据集分为10份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，再进行10次交叉验证，求出均值。

进一步地，所述把数据集分为训练集和测试集具体为：把该数据集平均分为10份，将其中的9份作为训练集，剩下的1份作为测试集，一共训练10次，每一次训练得到的精度为R_i，最后的精度为10次结果的平均值为

在训练集对检测网络进行训练得到检测网络的参数，在测试集上进行精度的检测，得到R_i。

进一步地，所述步骤S2具体如下：

S201、构建基于迁移学习第一网络模型，即构建基于Inception-V3的三种训练模型：SNT+，SNT和TNT；其中，SNT+代表保留前三层的预训练模型参数，重新训练剩下层数的卷积层的模型参数；SNT代表只训练最后的全连接层；TNT表示从零开始训练模型所有的参数；

S202、通过比较三中训练模型在数据集上得到的精确度，得到最优网络模型SNT。

进一步地，所述步骤S3具体为：

修改最优网络模型SNT的全连接层，并重新添加用于识别螺钉螺母的全连接层，构建迁移学习第二网络模型；

设定结果是互斥的，损失函数定义为：L(P_A)＝-(1-P_A)^τLog(P_A)；

其中，

y∈[0,1]为真实标签，p为预测概率。

进一步地，所述步骤S4具体如下；

S401、将螺钉螺母数据集里的每张图片进行统一裁剪；

S402、将裁剪的图片输入迁移学习第二网络模型，在迁移学习第二网络模型的卷积模块进行步骤处理，对图像进行特征提取；所述步骤处理包括卷积、Relu、最大池化；

S403、将提取到的特征输入到卷积神经网络中训练，通过卷积算法计算得到的预测边框和标注的检测边框，再进行交集运算，计算结果为预测边框和真实边框的交集面积；

S404、然后对该边框进行调整和修正，最后得到最终输出的结果边框，进而得到螺钉螺母识别模型。

进一步地，所述步骤S5为：

使用迁移学习第二网络模型在测试集上判断能否检测到的螺钉螺母是否符合实际，即从测试集中随机提取图像文件，通过迁移学习第二网络模型判断该图像文件上是否存在螺钉螺母，如果不存在螺钉螺母，则剔除该图像文件，进行下一次检测；如果存在螺钉螺母，则输出图像中螺钉螺母的检测框，同时输出检测框的坐标信息；此时得到，得到由迁移学习构成的螺钉螺母的检测网络。

本发明与现有技术相比，具有如下优点和有益效果：

本发明提供了一种在数据量少且识别器件体积小的检测问题上表现优异的迁移学习方法，通过精调，它能从外部深度神经网络模型的数据中学习浅层特征，在有限的数据集下快速而精确的识别工业器件螺钉螺母，解决了深度学习模型对大规模数据集的依赖和过长的训练时间，为未来将迁移学习对工业器件的实时定位和检测推向实际应用提供了一个新思路。

附图说明

图1为本发明所述一种基于迁移学习的螺钉螺母检测方法的流程图；

图2为本发明所述实施例中划分训练集和测试集示意图；

图3为本发明所述实施例中三个网络模型通过训练特定层数得到最优网络模型结构示意图；

图4为本发明所述实施例中迁移学习网络模型结构图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例：

一种基于迁移学习的螺钉螺母检测方法，如图1所示，包括以下步骤：

第一步：获取螺钉螺母图像，建立实验数据集。具体包括以下步骤：

其中，所述获取螺钉螺母的图像可以包括：利用爬虫技术批量下载Google Images相关图片，同时在ImageNet上的工业器件的分割单元寻找相关图片。筛选收集到的图片创建实验数据集，对该数据集采用数据增强的方法，调用Imageug库实现以下操作，例如：翻转、裁剪、旋转、叠加噪声等手段扩大实验数据集。

将实验数据集分为训练集和测试集，在分层采样的基础上，将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。再进行10次交叉验证，求其均值，具体为：如图2所示，数据集为D，把该数据集平均分为10分，将其中的9份作为训练集，剩下的1份作为测试集。一共训练10次，每一次训练得到的精度为R_i，最后的精度为10次结果的平均值为

在训练集对检测网络进行训练得到检测网络的参数，在测试集上进行精度的检测，得到R_i。

第二步：将三种模型进行对比，选择精确度最高的模型。具体包括以下步骤：

构建基于Inception-V3的三种训练模型分别为SNT+，SNT和TNT。SNT+代表保留前三层的预训练模型参数(前三层为浅层特征，在工程中不需要重新训练相关的参数)，重新训练剩下层数的卷积层的模型参数。SNT代表只训练最后的全连接层(保留全连接层之前的网络参数)。TNT表示从零开始训练模型所有的参数；

这三个网络的结构相同，不同的是，对网络中参数的保留层数不同。

SNT+代表保留前三层的预训练模型参数，结网络结构不变，保留前三层的内部的参数，剩下层的参数全部清零。将ImageNet数据集输入到该网络进行训练。

SNT只清零最后一层的参数，其他层的参数不清零。将ImageNet数据集输入到该网络中进行训练，也就是训练最后一层，即全连接层。

TNT表示把网络所有层的参数都清零，将ImageNet数据集输入到该网络中进行训练，也就是开始训练模型中所有的参数；

三个网络进行训练得到结果，如下图所示，是每一层的输出精度，最后的平均精度为下表所示：SNT只训练网络最后一层，网络收敛最快，精度最高。TNT从零开始训练，参数全部为设为0，网络需要重新计算参数，所以收敛最慢，精度最低。SNT+网络中还存在少量的参数，收敛和精度都处于另外两个网络的中间。所以选择最优网络SNT来对螺钉螺母进行识别。

通过比较上述三种模型在该实验数据集上跑出的精确度，可以判断出固定该层之前的参数能在该实验数据集中得到最优的结果，选出最优的网络模型为SNT，如图3所示，图3为三个网络模型通过训练特定层数得到最优网络模型结构示意图。

修改最优网络模型SNT的全连接层，重新添加用于识别螺钉螺母的全连接层，构建迁移学习模型。

修改识别螺钉螺母的全连接层的步骤，首先人工用LabeIImag软件对获取到的螺钉螺母数据集打标签，如果图片中存在螺钉螺母，则标签为1，如果不存在则标签为0。此时有两个标签，一个是螺钉，一个是螺母。

2.将SNT网络的最后一层，即全连接层的参数进行修改，比如原始参数为1024，说明它可以识别1024种不同的物体，有1024中不同的标签，将其修改为2，使它只能识别两种标签，那就是图像中的螺钉螺母，让该层只有识别这两种标签的能力。

3.将打好标签的螺钉螺母数据集输入到网络中，进行训练，即进行卷积的计算，让该网络进行学习，使它发现图像中有螺钉和螺母就是输出对应的两个检测框，如果有其中一个就输出一个检测框，没有螺钉螺母就识别不出来。使其成为一个专属识别螺钉螺母的网络。

4.训练SNT的步骤，首先把螺钉螺母数据集，设定结果是互斥的，损失函数定义为：

L(P_A)＝-(1-P_A)^τLog(P_A)；

其中，

y∈[0,1]为真实标签，p为预测概率。

这里的y＝1，代表图像上同时存在螺钉和螺母。就是该网络检测图片上的结果和真实的结果相同。比如网络同时检测到螺钉螺母，同时给的标签上也是有螺钉螺母的，此时属于真实的检测概率，y＝1，其他的情况都是y＝0，证明网络识别的结果和真实的标签存在错误。

这是在交叉熵损失函数的基础上针对螺钉螺母分类的改进损失函数，调制项(1-P_A)^τ可以使样本Loss变小，是模型的收敛速度更加快。本实验中设定τ＝2，改进后的网络结构如图4所示。

第三步：使用基于Inception-V3的网络模型并修改其全连接层，具体包括以下几个步骤：

进行网络模型之间的对比，选取前沿的深度学习神经网络的模型VggNet和AlexNet与该网络模型做对比，固定全连接层的之前的网络参数，按照S2步骤修改两个网络的全连接层，同时用Adam过滤器做为整个系统的优化器。Adam其实可以看做是Momentum和RMSProp算法的结合。Momentum通过对梯度mean的估计，使得梯度在纵向上的正负步长逐步抵消，横向上的步长逐步累积，从而减少了震荡，加快了学习速率。RMSProp算法的思路是这样的，对于波动比较大的梯度，它的方差肯定是很大的，所以它用梯度去除以二阶距的开方，作为梯度下降的梯度，从而也使得它在纵轴上的步长减小了，同时相对的增加了横轴的步长。最后基于Inception-V3网络的模型中的1×1卷积核能先降维再做特征提取，极大的减少了网络的参数，在训练速度上取得了很大的提升。

修正参数公式如下：

其中，β₁＝0.9,β₂＝0.999,∈＝10^-8。

更新参数公式如下：

需要调整的是学习率α。训练的全过程并不是使用一个固定不变的学习率，而是随着时间的推移让学习率动态变化，比如刚刚开始训练的时候，可使用较大的学习率加快训练速度。当快接近最优值时为避免跨过最优值，降低学习率，使用小的学习率去训练该神经网络。无法知道训练的最优值，所以解决的变法是：在每次迭代后，使用估计的模型的参数来查看误差函数的值，如果相对于上一次迭代，错误率减少了，就可以增大学习率。如果相对于上一次迭代，错误率增大了，需要重新设置上一轮迭代的值，并且减少学习率到之前的50％。因此，这是一种学习率自适应调节的方法，直接可以在Tensorflow的深度学习框架中设置学习率的动态变化。

第四步：利用所述数据集来训练迁移学习模型，得到螺钉螺母的识别模型。具体包括以下步骤：

使用训练的模型在测试集上判断检测的螺钉螺母是否准确。具体首先从数据集的测试集中随机提取图像文件。

首先判断该图像上是否存在螺钉螺母；如果不存在，将该图片剔除所在文件，进行下一次检测。如果存在，检测图像上的物体并输出其在图片上的对应坐标；具体为：

S401、将螺钉螺母数据集里的每张图片进行统一裁剪；

S402、将裁剪的图片输入迁移学习第二网络模型，在迁移学习第二网络模型的卷积模块进行步骤处理，对图像进行特征提取；所述步骤处理包括卷积、Relu、最大池化；

S403、将提取到的特征输入到卷积神经网络中训练，通过卷积算法计算得到的预测边框和标注的检测边框，再进行交集运算，计算结果为预测边框和真实边框的交集面积；

S404、然后对该边框进行调整和修正，最后得到最终输出的结果边框，进而得到螺钉螺母识别模型。。

第五步：利用训练得到的迁移学习模型，判断检测结果是否正确，得到最终结果，具体为：

使用迁移学习第二网络模型在测试集上判断能否检测到的螺钉螺母是否符合实际，即从测试集中随机提取图像文件，通过迁移学习第二网络模型判断该图像文件上是否存在螺钉螺母，如果不存在螺钉螺母，则剔除该图像文件，进行下一次检测；如果存在螺钉螺母，则输出图像中螺钉螺母的检测框，同时输出检测框的坐标信息；此时得到，得到由迁移学习构成的螺钉螺母的检测网络。

迁移学习是运用已有的知识来解决不同但是相关领域的问题的一种机器学习的方法。它能放宽传统机器学习中的两个基本假设问题，为了保证训练得到的分类模型具有准确性和高可靠性，有以下两个基本假设问题：1.用于学习的训练样本与新的测试样本满足独立同分布；2.必须有足够可用的训练样本才能学习得到一个好的分类模型；但是在实际中，发现这两个条件往往无法满足。首先，随着时间的推移，原先可利用的有标签样本数据可能变得不可用，与新的测试样本的分布产生语义、分布上的缺口。另外，有标签样本数据往往很缺乏，而且很难获得。这就引起了机器学习中另外一个重要的问题，如何利用少量的有标签训练样本或者源领域数据，建立一个可靠的模型对具有不同数据分布的目标领域进行预测。本申请首先创建螺钉螺母实验数据集，之后将实验数据集分为训练集和测试集，在分层采样的基础上，将数据集分成十份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验。再进行10次交叉验证，求其均值。然后将三种模型进行对比，选择精确度最高的模型。使用基于Inception-V3的网络模型并修改其全连接层，最后利用所述数据集来训练迁移学习模型，得到螺钉螺母的识别模型，使用训练的模型在测试集上判断检测的螺钉螺母是否准确。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于迁移学习的螺钉螺母检测方法，其特征在于，包括以下步骤：

S1、获取螺钉螺母图像，建立数据集，对数据集进行数据增强；

S2、构建基于迁移学习第一网络模型并进行对比，选择最优网络模型；

S3、修改最优网络模型的全连接层，重新添加用于识别螺钉螺母的全连接层，构建迁移学习第二网络模型；

S4、通过数据集对迁移学习第二网络模型进行训练，得到螺钉螺母识别模型；

S5、利用迁移学习第二网络模型，对检测结果进行判断，得到检测网络。

2.根据权利要求1所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述步骤S1具体为：获取螺钉螺母图像，建立数据集，对该数据集进行数据增强处理，扩大数据集，把数据集分为训练集和测试集；所述数据增强处理包括翻转、裁剪、旋转、叠加噪声。

3.根据权利要求2所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述把数据集分为训练集和测试集，即在分层采样的基础上，将数据集分为10份，轮流将其中9份作为训练数据，1份作为测试数据，进行试验，再进行10次交叉验证，求出均值。

4.根据权利要求3所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述把数据集分为训练集和测试集具体为：把该数据集平均分为10份，将其中的9份作为训练集，剩下的1份作为测试集，一共训练10次，每一次训练得到的精度为R_i，最后的精度为10次结果的平均值为

在训练集对检测网络进行训练得到检测网络的参数，在测试集上进行精度的检测，得到R_i。

5.根据权利要求1所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述步骤S2具体如下：

S201、构建基于迁移学习第一网络模型，即构建基于Inception-V3的三种训练模型：SNT+，SNT和TNT；其中，SNT+代表保留前三层的预训练模型参数，重新训练剩下层数的卷积层的模型参数；SNT代表只训练最后的全连接层；TNT表示从零开始训练模型所有的参数；

S202、通过比较三中训练模型在数据集上得到的精确度，得到最优网络模型SNT。

6.根据权利要求5所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述步骤S3具体为：

修改最优网络模型SNT的全连接层，并重新添加用于识别螺钉螺母的全连接层，构建迁移学习第二网络模型；

设定结果是互斥的，损失函数定义为：L(P_A)＝-(1-P_A)^τLog(P_A)；

其中，

y∈[0,1]为真实标签，p为预测概率。

7.根据权利要求1所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述步骤S4具体如下；

S401、将螺钉螺母数据集里的每张图片进行统一裁剪；

S402、将裁剪的图片输入迁移学习第二网络模型，在迁移学习第二网络模型的卷积模块进行步骤处理，对图像进行特征提取；所述步骤处理包括卷积、Relu、最大池化；

S403、将提取到的特征输入到卷积神经网络中训练，通过卷积算法计算得到的预测边框和标注的检测边框，再进行交集运算，计算结果为预测边框和真实边框的交集面积；

S404、然后对该边框进行调整和修正，最后得到最终输出的结果边框，进而得到螺钉螺母识别模型。

8.根据权利要求1所述的一种基于迁移学习的螺钉螺母检测方法，其特征在于，所述步骤S5为：

使用迁移学习第二网络模型在测试集上判断能否检测到的螺钉螺母是否符合实际，即从测试集中随机提取图像文件，通过迁移学习第二网络模型判断该图像文件上是否存在螺钉螺母，如果不存在螺钉螺母，则剔除该图像文件，进行下一次检测；如果存在螺钉螺母，则输出图像中螺钉螺母的检测框，同时输出检测框的坐标信息；此时得到，得到由迁移学习构成的螺钉螺母的检测网络。

Images