CN110610482A - 一种基于resnet的工件瑕疵检测方法 - Google Patents

Abstract

一种基于resnet的工件瑕疵检测方法，包括以下步骤：1)从厂家获得数据，并进行图片整理；2)将数据集划分为训练集和测试集；3)对训练集中的数据进行预处理，并制作标签；4)用训练集训练resnet模型，提取图片的特征映射；5)利用softmax进行具体类别的分类，计算损失函数，更新网络参数，得到训练模型；6)利用训练模型对数据集中的测试集进行预测，并输出预测结果；7)三工位联合预测，得出单个工件的品质鉴定。本发明检测速度快并且准确率高，有助于工厂进行更好的规划和管理，具有较高的实用价值。

Description

一种基于resnet的工件瑕疵检测方法

技术领域

本发明涉及图像处理、深度学习、计算机视觉、图像分类，是一种基于resnet的工件瑕疵检测方法。

背景技术

随着工业的现代化，许多企业使用了自动化流水生产线，但在实际生产过程中，流水线会产生一定数量的次品，这些次品如果混入良品中，无疑会降低该工件的质量，损害公司的形象。为了避免这种情况的发生，企业会采取一些措施来剔除次品，从而保证产品的质量。

目前，大部分企业采用的是人工检测，这种方法费时又费力，成本高，而且对工人的视力危害较大。而本发明提出的基于深度学习的工件瑕疵检测方法，取代了人力，成本较低，使用方便，检测精度高。

在计算机视觉领域，卷积神经网络(CNN)已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”(shortcuts，skip connection)，这有助于训练过程中梯度的反向传播，从而能训练出更深的CNN网络。

发明内容

为了克服现有技术的不足，本发明提供了一种基于resnet的工件瑕疵检测方法，该方法算法简单，检测精度高，检测时间短，利于软件实现，通过深度学习算法检测工件的瑕疵。

本发明解决其技术问题所采用的技术方案如下：

一种基于resnet的工件瑕疵检测方法，包括以下步骤：

S1：从厂家获得数据，并进行图片整理；

S2：将数据集划分为训练集和测试集；

S3：对训练集中的数据进行预处理，并制作标签；

S4：用训练集训练resnet模型，提取图片的特征映射；

S5：利用softmax进行具体类别的分类，计算损失函数，更新网络参数，得到训练模型；

S6：利用训练模型对数据集中的测试集进行预测，并输出预测结果；

S7：三工位联合预测，得出单个工件的品质鉴定。

进一步，所述步骤S1中，数据集的图片都为bmp格式，数据的存放形式为若干个文件夹，单个文件夹存放单个工件的照片，一共15张，一共3个工位，即是每个工位5张照片。由于单个工件不同工位之间的照片是相互独立的，良次品的情况，所以需要将它们分门别类，把所有照片按实际情况放入6个文件夹，这6个文件夹分别是工位0的次品照、工位0的良品照、工位1的次品照、工位1的良品照、工位2的次品照、工位2的良品照。

再进一步，所述步骤S2中，对于步骤S1中的6个文件夹，把每个文件夹中的数据按比例划分为训练集和测试集。对于每个工位，创建一个文件夹“train”，在“train”文件夹下创建两个文件夹“0”和“1”，分别将训练集中的次品照放入文件夹“0”中，将训练集中的良品照放入文件夹“1”中，这样，训练集就初步制作完成。

更进一步，所述步骤S3中，数据预处理主要包括裁剪、旋转，原始数据的尺寸为1920*1200，将训练集中的所有图片裁剪为900*900的尺寸，这样做，有利于加快卷积神经网络的训练，有利于提高模型的准确度；为了扩充数据集，将每训练集中的每张照片进行逆时针旋转若干次，并且保存每次旋转的结果。处理完之后，由于每个工位的良品照和次品照数量不一样，删除多余的照片，使其相等；这样可以大大扩充数据集，提升模型的泛化能力；最后一步，为训练集打标签，生成一个名叫“train.txt”的文件，里面的每一行代表一张照片的全部信息。

所述步骤S4中，对于每个工位，将训练集作为输入，训练卷积神经网络，所用模型resnet有50个卷积层，50个ReLU层，2个池化层，1个全连接层，resnet学习的是残差函数F(x)＝H(x)-x，这里如果F(x)＝0，那么就是恒等映射，事实上，resnet是“shortcutconnections”的在connections是在恒等映射下的特殊情况，它没有引入额外的参数和计算复杂度。

所述步骤S5中，将残差模块和各卷积层提取的特征进行全连接，利用softmax进行具体类别的分类，优化器使用的是Adam，不但存储了过去梯度的平方v_t的指数衰减平均值，也保持了过去梯度m_t的指数衰减平均值：

m_t＝β₁m_t-1+(1-β₁)g_t

如果m_t和v_t被初始化为0向量，那它们就会向0偏置，所以做了偏差校正，

通过计算偏差校正后的m_t和v_t来抵消这些偏差：

梯度更新规则：

超参数设定值，β₁＝0.9，β₂＝0.999，∈＝10e-8。Loss使用的是categorical_crossentropy交叉熵损失函数，公式如下：

其中，y为期望的输出，a为神经元实际输出，n为a＝σ(z)，z＝∑w_j*x_j+b。

所述步骤S6中，对于每个工位，用已训练的模型去预测测试集，可以得到测试集中每张照片的结果，属于次品照或者良品照，并跟实际情况对比，记录准确率等数据。

所述步骤S7中，由于单个工件有三个工位的照片各一张，实际生产中，只要有一个工位的照片是次品照，这个工件就属于次品，已训练模型预测完对应工位的照片后，会返回一个值，“0”对应“次品照”，“1”对应“良品照”。因此，单个工件的质量由以下公式决定：

P＝P₀*P₁*P₂

其中，P代表工件的质量结果，“0”对应“次品”，“1”对应“良品”，P₀代表工位0的模型的预测结果，P₁代表工位1的模型的预测结果，P₂代表工位2的模型的预测结果。

本发明的有益效果为：由于流水线上的工件质量不一、瑕疵种类也不同，用传统人工方法筛选出所有次品既费时又费力。本发明选取了大量良品照片、带有不同缺陷类型的次品照片作为训练数据，并进行了数据预处理，得到了丰富的训练样本。本发明利用resnet算法检测工件的瑕疵，与传统人工方法相比，节约了检测时间、降低了运营成本、提高了便利性。

附图说明

图1为本发明实施例的基于resnet的工件瑕疵检测方法的流程图；

图2为本发明实施例的三工位联合预测单个工件品质的流程图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1和图2，一种基于resnet的工件瑕疵检测方法，本发明使用新昌浙江工业大学科学技术研究院提供的数据作为数据集。所述方法包括数据集整理，训练数据预处理，resnet模型训练和测试集检测。

本发明包括以下步骤：

S1：从厂家获得数据，并进行图片整理；

S2：将数据集划分为训练集和测试集；

S3：对训练集中的数据进行预处理，并制作标签；

S4：用训练集训练resnet模型，提取图片的特征映射；

S5：利用softmax进行具体类别的分类，计算损失函数，更新网络参数，得到训练模型；

S6：利用训练模型对数据集中的测试集进行预测，并输出预测结果；

S7：三工位联合预测，得出单个工件的品质鉴定。

所述步骤S1中，数据集由新昌浙江工业大学科学技术研究院提供，图片都为bmp格式，数据的存放形式为若干个命名为“001”、“002”、“003”……的文件夹，单个文件夹存放单个工件的照片，一共15张，一共3个工位，即是每个工位5张照片。由于单个工件不同工位之间的照片是相互独立的(良次品的情况)，所以需要将它们分门别类，把所有照片按实际情况放入6个文件夹，这6个文件夹分别是工位0的次品照、工位0的良品照、工位1的次品照、工位1的良品照、工位2的次品照、工位2的良品照。

所述步骤S2中，对于步骤S1中的6个文件夹，把每个文件夹中的数据划分为训练集和测试集，训练集和测试集的比例大约为8:2，对于每个工位，创建一个文件夹“train”，在“train”文件夹下创建两个文件夹“0”和“1”，分别将训练集中的次品照放入文件夹“0”中，将训练集中的良品照放入文件夹“1”中。这样，训练集就初步制作完成。

所述步骤S3中，数据预处理主要包括裁剪、旋转，原始数据的尺寸为1920*1200，由于整个图片中，只有中间部分为工件，其余部分均为黑色，所以将训练集中的所有图片裁剪为900*900的尺寸，这样做，有利于加快卷积神经网络的训练，有利于提高模型的准确度；为了扩充数据集，将每训练集中的每张照片进行逆时针旋转若干次，角度分别为45度、90度、135度、180度、225度、270度、315度等，保存每次旋转的结果；处理完之后，由于每个工位的良品照和次品照数量不一样，删除多余的照片，使其相等；这样可以大大扩充数据集，提升模型的泛化能力。最后一步，为训练集打标签，生成一个名叫“train.txt”的文件，里面的每一行代表一张照片的信息，包括路径、照片名、标签(0或1)。

所述步骤S4中，对于每个工位，将训练集作为输入，训练卷积神经网络，所用模型resnet有50个卷积层，50个ReLU层，2个池化层，1个全连接层。resnet学习的是残差函数F(x)＝H(x)-x，这里如果F(x)＝0，那么就是恒等映射。事实上，resnet是“shortcutconnections”的在connections是在恒等映射下的特殊情况，它没有引入额外的参数和计算复杂度，假如优化目标函数是逼近一个恒等映射，而不是0映射，那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易，残差函数一般会有较小的响应波动，表明恒等映射是一个合理的预处理。

所述步骤S5中，将残差模块和各卷积层提取的特征进行全连接，利用softmax进行具体类别的分类，优化器使用的是Adam，不但存储了过去梯度的平方v_t的指数衰减平均值，也保持了过去梯度m_t的指数衰减平均值：

m_t＝β₁m_t-₁+(1-β₁)g_t

如果m_t和v_t被初始化为0向量，那它们就会向0偏置，所以做了偏差校正，

通过计算偏差校正后的m_t和v_t来抵消这些偏差：

梯度更新规则：

超参数设定值，β₁＝0.9，β₂＝0.999，∈＝10e-8。Loss使用的是categorical_crossentropy交叉熵损失函数，公式如下：

其中，y为期望的输出，a为神经元实际输出，n为a＝σ(z)，z＝Σw_j*x_j+b。

所述步骤S6中，对于每个工位，用已训练的模型去预测测试集，可以得到测试集中每张照片的结果，属于次品照或者良品照，并跟实际情况对比，记录准确率等数据。

所述步骤S7中，由于单个工件有三个工位的照片各一张，实际生产中，只要有一个工位的照片是次品照，这个工件就属于次品。已训练模型预测完对应工位的照片后，会返回一个值，“0”对应“次品照”，“1”对应“良品照”。因此，单个工件的质量由以下公式决定：

P＝P₀*P₁*P₂

其中，P代表工件的质量结果，“0”对应“次品”，“1”对应“良品”，P₀代表工位0的模型的预测结果，P₁代表工位1的模型的预测结果，P₂代表工位2的模型的预测结果，分别将单个工件每个工位的照片通过对应工位的模型预测后，由以上公式可获得该工件的质量结果。

如上所述为本发明工件瑕疵检测的实施例介绍，本发明利用厂家提供的训练数据，通过resnet算法得到训练模型，再使用训练模型检测测试集并进行分类、品质鉴定等工作。本发明相比于传统人工方法，具有检测速度快、检测便利、运营成本低的优势。经试验，发现准确率与epoch、learning rate、batch size等参数有关。Epoch过小时，模型学习的特征不够充分，准确率较低，当epoch过大时，因过拟合，预测效果较差。Learning rate取值0.0001时效果较好，batch size则是在计算机运行能力范围内越大越好。最终的检测结果，如表1所示。

	Epoch	Learning rate	batch size	训练集	测试集	准确率
							工位0	100	0.0001	16	12000	1000	96.8％
工位1	100	0.0001	16	11000	1000	92.5％
							工位2	100	0.0001	16	10000	1000	95.4％
三工位联合	/	/	/	/	1000	98.6％

表1

以上所述，仅为本发明专利较佳的实施例，对本发明而言仅仅是说明性，而非限制性，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (8)

1.一种基于resnet的工件瑕疵检测方法，其特征在于，所示方法包括以下步骤：

S1：从厂家获得数据，并进行图片整理；

S2：将数据集划分为训练集和测试集；

S3：对训练集中的数据进行预处理，并制作标签；

S4：用训练集训练resnet模型，提取图片的特征映射；

S5：利用softmax进行具体类别的分类，计算损失函数，更新网络参数，得到训练模型；

S6：利用训练模型对数据集中的测试集进行预测，并输出预测结果；

S7：三工位联合预测，得出单个工件的品质鉴定。

2.如权利要求1所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S1中，数据集的图片都为bmp格式，数据的存放形式为若干个文件夹，单个文件夹存放单个工件的照片，一共15张，一共3个工位，即是每个工位5张照片，由于单个工件不同工位之间的照片是相互独立的，所以需要将它们分门别类，把所有照片按实际情况放入6个文件夹，这6个文件夹分别是工位0的次品照、工位0的良品照、工位1的次品照、工位1的良品照、工位2的次品照、工位2的良品照。

3.如权利要求1或2所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S2中，对于步骤S1中的6个文件夹，把每个文件夹中的数据按比例划分为训练集和测试集；对于每个工位，创建一个文件夹“train”，在“train”文件夹下创建两个文件夹“0”和“1”，分别将训练集中的次品照放入文件夹“0”中，将训练集中的良品照放入文件夹“1”中，训练集就初步制作完成。

4.如权利要求1或2所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S3中，数据预处理包括裁剪、旋转，原始数据的尺寸为1920*1200，将训练集中的所有图片裁剪为900*900的尺寸，有利于加快卷积神经网络的训练，有利于提高模型的准确度；为了扩充数据集，将每训练集中的每张照片进行逆时针旋转若干次，并且保存每次旋转的结果；处理完之后，由于每个工位的良品照和次品照数量不一样，删除多余的照片，使其相等；这样可以大大扩充数据集，提升模型的泛化能力；最后一步，为训练集打标签，生成一个名叫“train.txt”的文件，里面的每一行代表一张照片的全部信息。

5.如权利要求4所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S4中，对于每个工位，将训练集作为输入，训练卷积神经网络，所用模型resnet有50个卷积层，50个ReLU层，2个池化层，1个全连接层；resnet学习的是残差函数F(x)＝H(x)-x，这里如果F(x)＝0，那么就是恒等映射；事实上，resnet是“shortcut connections”的在connections是在恒等映射下的特殊情况，它没有引入额外的参数和计算复杂度。

6.如权利要求5所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S5中，将残差模块和各卷积层提取的特征进行全连接，利用softmax进行具体类别的分类，优化器使用的是Adam，不但存储了过去梯度的平方v_t的指数衰减平均值，也保持了过去梯度m_t的指数衰减平均值：

m_t＝β₁m_t-1+(1-β₁)g_t

如果m_t和v_t被初始化为0向量，那它们就会向0偏置，所以做了偏差校正，

通过计算偏差校正后的m_t和v_t来抵消这些偏差：

梯度更新规则：

超参数设定值，β₁＝0.9，β₂＝0.999，∈＝10e-8，Loss使用的是categorical_crossentropy交叉熵损失函数，公式如下：

其中，y为期望的输出，a为神经元实际输出，n为a＝σ(z)，z＝∑w_j*x_j+b。

7.如权利要求1或2所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S6中，对于每个工位，用已训练的模型去预测测试集，得到测试集中每张照片的结果，并跟实际情况对比，记录准确率数据。

8.如权利要求1或2所述的一种基于resnet的工件瑕疵检测方法，其特征在于，所述步骤S7中，由于单个工件有三个工位的照片各一张，实际生产中，只要有一个工位的照片是次品照，这个工件就属于次品；已训练模型预测完对应工位的照片后，会返回一个值，“0”对应“次品照”，“1”对应“良品照”，因此，单个工件的质量由以下公式决定：

P＝P₀*P₁*P₂

其中，P代表工件的质量结果，P₀代表工位0的模型的预测结果，P₁代表工位1的模型的预测结果，P₂代表工位2的模型的预测结果。