CN110111297A - 一种基于迁移学习的注塑制品表面图像缺陷识别方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习的注塑制品表面图像缺陷识别方法。非注塑制品表面缺陷图像作为源域数据集，注塑制品表面缺陷图像作为目标域数据集，对源域数据集进行缺陷类别标注，对所有图像进行域信息标注，建立CNN模型，将两个数据集输入CNN模型中进行训练，CNN模型通过若干卷积层提取得到样本的第一特征图再通过全连接层输出预测缺陷分类结果；建立迁移学习模型，构造迁移损失函数，根据迁移损失函数将源域数据集作为知识迁移到CNN模型，优化迭代得到目标CNN模型；采集带有表面缺陷的注塑制品图像，将注塑制品图像输入到目标CNN模型中进行测试得到预测缺陷分类结果。本发明识别的准确率高，解决了注塑制品表面缺陷识别的样本缺乏问题。

Description

一种基于迁移学习的注塑制品表面图像缺陷识别方法

技术领域

本发明涉及计算机视觉及工业自动化技术领域，具体涉及一种基于迁移学习的注塑制品表面图像缺陷识别方法。

背景技术

注塑制品表面受到模具、原材料特性等多方面因素的影响，并与加工环境、制品冷却时间、后处理工艺密切相关，易产生各种缺陷，严重影响制品质量；其特征可以反映注塑制品的质量。注塑制品的表面缺陷形成机理复杂，且表现形式多样，难以量化，表面缺陷识别一直以来都是一个难题。由于基于机器视觉的表面缺陷检测技术是一种直观的、非接触式的质量检测方法，能够高效、自动地实现检测任务。因此，针对注塑制品表面质量的机器视觉识别的研究具有重要意义。

目前对于注塑制品表面缺陷识别的方法主要分两大类：其一是通过数字图像处理技术，对图像进行降噪滤波、边缘提取以及特征匹配等运算，根据图像的特征描述来对缺陷进行识别，这种方法的优点在于计算方便且易于实现，缺点在于用简单的特征描述图像会丢失图像的细节，致使缺陷的分类准确率难以达到较高的标准；其二是通过大量训练数据和GPU计算能力，使用深度学习的方法对注塑制品的表面图像进行识别，这种方法的优点在于分类的准确率高、能处理的缺陷类型多，缺点在于对硬件要求较高，且极其依赖大量的数据作为训练集，否则容易产生过拟合现象。

发明内容

本发明为解决上述注塑制品缺陷识别方法的不足，提出一种基于迁移学习的注塑制品表面图像缺陷识别方法。

本发明的技术方案包括如下步骤：

步骤1：将若干非注塑制品表面缺陷图像作为源域数据集，将若干注塑制品表面缺陷图像作为目标域数据集，源域数据集和目标域数据集均包含多种缺陷类别，对源域数据集的每张图像进行缺陷类别的标注，对两个数据集的所有图像进行域信息标注，域信息指对图像所属的数据集进行标注。

步骤2：建立CNN(卷积神经网络)模型，将两个数据集的所有图像作为样本输入CNN模型中进行训练，CNN模型主要由若干卷积层和全连接层依次连接组成，CNN模型通过若干卷积层提取得到各个样本的第一特征图，第一特征图再输入到全连接层，全连接层输出每一个样本对应的预测缺陷分类结果。

步骤3：建立迁移学习模型，将第一特征图输入迁移学习模型中得到迁移损失函数，根据迁移损失函数将源域数据集迁移到步骤2中的CNN模型，优化迭代得到目标CNN模型。

步骤4：采集带有表面缺陷的注塑制品图像，将采集的注塑制品图像输入到步骤3的目标CNN模型中进行检测得到预测缺陷分类结果。

步骤3具体包括以下步骤：

3.1)迁移学习模型包括依次连接的第八卷积层、第五池化层和两个域分类器，两个域分类器分别为全局特征域分类器和局部特征域分类器，第五池化层分别连接全局特征域分类器和局部特征域分类器，第五池化层经第九卷积层、激活函数连接全局特征域分类器，第五池化层经第四全连接层、激活函数连接到局部特征域分类器。

3.2)将步骤2得到的第一特征图作为全局特征域分类器和局部特征域分类器共享的特征图输入到迁移学习模型中，第一特征图依次经第八卷积层、第五池化层和第九卷积层输出全局特征图，第一特征图依次经第八卷积层、第五池化层和第四全连接层输出局部缺陷特征图；将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征域分类器中进行训练得到预测域分类结果，根据预测域分类结果和域信息标注的结果得到全局特征损失函数L_img和局部特征损失函数L_ins，具体为：

将全局特征图输入到全局特征域分类器中得到全局特征预测域分类结果，根据全局特征预测域分类结果和域信息标注的结果得到全局特征损失函数，全局特征损失函数L_img的计算公式如下：

L_img＝-∑_i[D_ilogp_i+(1-D_i)log(1-p_i)]

p_i＝h(Φ(I_i))

其中，D_i表示第i张样本的域标签，D_i＝0时表示第i张样本来自源域数据集，D_i＝1时表示第i张样本来自目标域数据集，Φ(I_i)表示全局特征激活函数，p_i表示第i张样本来自目标域数据集的概率，h表示全局特征域分类器，I_i表示第 i张样本的全局特征图；

将局部缺陷特征图输入到局部特征域分类器中得到局部特征预测域分类结果，根据局部特征预测域分类结果和域信息标注的结果得到局部特征损失函数，局部特征损失函数L_ins的计算公式如下：

其中，Φ_u,v(I_i)表示局部特征激活函数，表示局部缺陷特征图中的每个像素点(u,v)域分类的输出概率，g表示局部特征域分类器，∑_i,u,v表示第i张样本对应的局部缺陷特征图上的所有像素点之和。

3.3)利用正则化方法对全局特征域分类器和局部特征域分类器进行约束，得到正则化损失函数L_re：

其中|I|表示局部缺陷特征图中所有像素点的个数，||·||₂表示均方差L₂损失函数；

3.4)根据源域数据集中的所有样本的预测缺陷分类结果和缺陷类别的标注结果得到Softmax归一化指数损失函数L_cls，根据Softmax归一化指数损失函数L_cls、全局特征损失函数L_img、局部特征损失函数L_ins和正则化损失函数L_re得到迁移损失函数L：

L＝L_cls+λ(L_img+L_ins+L_re)

其中，L_cls表示Softmax归一化指数损失函数，λ表示权重系数；

3.5)采用随机梯度下降算法对迁移损失函数优化直至迁移损失函数收敛，根据收敛的迁移损失函数对CNN模型各个层的参数进行优化更新，得到目标 CNN模型。

所述的CNN模型各个层的参数包括权值参数和偏置参数。

所述的CNN(卷积神经网络)模型主要由第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第六卷积层、第四池化层、第七卷积层、第一全连接层、第二全连接层和第三全连接层依次连接构成，样本输入到第一卷积层，经第五卷积层提取并输出第一特征图，第一特征图再作为第三池化层的输入并通过第三全连接层输出样本对应的预测缺陷分类结果。

所述的源域数据集采用金属材质表面缺陷图像或者高分子材料制品表面缺陷图像或者两者兼有。

所述的缺陷的类别包括飞边、裂纹、点蚀、凹痕和变色。

本发明建立两个基于特征图的域分类器，融合样本图像的全局特征和局部特征从而得到校正数据分布的域自适应成分损失函数和正则化损失函数，再结合传统的CNN分类损失函数，得到训练后的注塑制品表面缺陷分类模型。

本发明的有益效果是：

相比现有方法，本发明考虑迁移学习的方法，利用其他材质的制品表面缺陷数据集的表面纹理知识，辅助CNN模型学习各类缺陷特征，拟解决深度学习对训练数据的需求。如此，既避免了单一使用描述子可能丢失图像部分特征的问题，提升了准确率；又解决了深度学习对大量训练数据的依赖，同时获得了具有较强泛化能力的学习模型，满足实际工业应用的需求。

本发明结合深度学习处理能较大地提升注塑制品表面缺陷识别的准确率，并解决了图像样本缺乏的问题。此外，给注塑制品表面缺陷识别问题提供了一个新的处理方式，该方法可以应用于不同类型的表面缺陷分类问题。

附图说明

图1为CNN(卷积神经网络)模型的示意图；

图2为本发明的迁移学习模型的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，CNN(卷积神经网络)模型主要由卷积层1、池化层1、卷积层2、池化层2、卷积层3、卷积层4、卷积层5、池化层3、卷积层6、池化层 4、卷积层7、全连接层1、全连接层2和全连接层3依次连接构成，样本输入到卷积层1，经卷积层5提取并输出第一特征图，第一特征图再作为池化层3的输入并通过全连接层3输出样本对应的预测缺陷分类结果。

CNN(卷积神经网络)模型中，卷积层1～卷积层5用来作为特征提取部分，池化层3～全连接层3用来作为图像缺陷分类部分，图像缺陷分类问题可以描述为学习一个后验概率P(C,B|I)。其中，I表示图像样本，B表示二分类的结果(是否为合格的注塑制品)，C表示缺陷的类别(用于多分类任务)。C∈{1,…,K}，K表示缺陷的总类别数。在CNN模型中，图像I是通过若干层卷积得到的特征图 (Feature Map)来表示的。同时将卷积层5的输出作为迁移学习部分的输入。

如图1所示，本发明在CNN分类模型的基础上增加了两个层级的域分类器作为域自适应成分，两个层级分别为局部缺陷层级和全局图像层级，两个域分类器之间用强制的一致性正则化项关联起来。模型的左半部分为传统的CNN分类器，对于多分类问题可以采用Softmax归一化指数损失函数训练，右半部分的两个层级的分类器将特征图共享，完成知识的迁移。

如图1、图2所示，本发明的迁移学习模型包括依次连接的第八卷积层、第五池化层和两个域分类器，两个域分类器分别为全局特征域分类器和局部特征域分类器，第五池化层分别连接全局特征域分类器和局部特征域分类器，第五池化层经第九卷积层、激活函数连接全局特征域分类器，第五池化层经第四全连接层、激活函数连接到局部特征域分类器。

本发明的具体实施例包括以下步骤：

步骤1离线准备阶段：将若干非注塑制品表面缺陷图像作为源域数据集，将若干注塑制品表面缺陷图像作为目标域数据集，源域数据集和目标域数据集均包含多种缺陷类别，对源域数据集的每张图像进行缺陷类别的标注，对两个数据集的所有图像进行域信息标注，域信息指对图像所属的数据集进行标注；

图像缺陷分类问题可以采用卷积神经网络的方法解决，注塑制品表面缺陷数据集小，需要依靠其他表面缺陷数据集作为知识，迁移到注塑制品表面缺陷识别任务上。实施例中使用金属材质表面缺陷制品作为源域数据集，帮助CNN 模型识别注塑制品表面缺陷；源域的数据集均已标记缺陷类别，目标域上的数据集未标记缺陷类别，且对所有的数据集标注域信息。金属表面和注塑制品表面缺陷的分布存在偏移，不能直接当作训练样本使用，识别效果差。但是，CNN 模型在两个不同的数据集上所得到的结果是一致的，即给定一张制品的图片，不论图片来自哪个数据集，CNN分类的结果的可能类别一致。这是其他表面缺陷数据集能够迁移到注塑制品表面缺陷识别任务的理论基础。

步骤2迁移学习模型训练阶段：建立CNN(卷积神经网络)模型，将源域数据集和目标域数据集的图像样本按240:16的比例批量输入CNN模型中进行训练，CNN模型输出每张样本对应的预测缺陷分类结果；

步骤3：建立迁移学习模型，迁移学习模型与CNN模型的特征图连接，通过图像全局和局部缺陷两个方面把源域中的知识迁移到目标域缺陷分类任务上，构造迁移损失函数。根据迁移损失函数将源域数据集作为知识迁移到步骤2中的CNN模型，优化迭代得到目标CNN模型；

首先将步骤2得到的第一特征图作为全局特征域分类器和局部特征域分类器共享的特征图输入到迁移学习模型中，第一特征图依次经第八卷积层、第五池化层和第九卷积层输出全局特征图，第一特征图还依次经第八卷积层、第五池化层和第四全连接层输出局部缺陷特征图；将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征域分类器中进行训练得到预测域分类结果，根据预测域分类结果和域信息标注的结果得到全局特征损失函数L_img和局部特征损失函数L_ins，具体为：

将全局特征图输入到全局特征域分类器中得到全局特征预测域分类结果，根据全局特征预测域分类结果和域信息标注的实际结果得到全局特征损失函数，全局特征损失函数L_img的计算公式如下：

L_img＝-∑_i[D_ilogp_i+(1-D_i)log(1-p_i)]

p_i＝h(Φ(I_i))

其中，D_i表示第i张样本的域标签，D_i＝0时表示第i张样本来自源域数据集，D_i＝1时表示第i张样本来自目标域数据集，Φ(I_i)表示全局特征激活函数，p_i表示第i张样本来自目标域数据集的概率，h表示全局特征域分类器，I_i表示第 i张全局特征图。

全局特征的校正可以减少数据边缘分布P(I)的不同导致的域偏移，比如图像的尺度、视角、光照等。

将局部缺陷特征图输入到局部特征域分类器中得到局部特征预测域分类结果，根据局部特征预测域分类结果和域信息标注的实际结果得到局部特征损失函数，局部特征损失函数L_ins的计算公式如下：

其中，Φ_u,v(I_i)表示局部特征激活函数，Φ_u,v(I_i)用来表示局部缺陷特征图中每个像素点(u,v)经过激活函数之后的特征，表示局部缺陷特征图中的每个像素点(u,v)域分类的输出概率(是指输出是源域数据集或目标域数据集的概率)， g表示局部特征域分类器，∑_i,u,v表示第i张样本对应的局部缺陷特征图上的所有像素点之和。

局部特征在不同域上的区分，可以减少缺陷识别的数据分布偏移。理论上，缺陷特征(局部特征)可以通过每个缺陷在原图上的边框(Bounding Box)映射到特征图(FeatureMap)上而得到。由于缺乏边框的标注信息，本发明使用局部缺陷特征图上的所有像素点之和来表示缺陷特征(局部特征)。

然后利用正则化方法对两个域分类器进行约束，得到正则化损失函数L_re：

其中|I|表示局部缺陷特征图中所有像素个数，||·||₂表示均方差L₂损失函数。给不同层级的域分类器施加一个约束，使它们具有一致性，可以帮助模型学习跨领域的知识，提高鲁棒性。

根据源域数据集中的所有样本的的预测缺陷分类结果和缺陷类别的标注结果得到Softmax归一化指数损失函数L_cls，基于全局特征损失函数L_img和局部特征损失函数L_ins、正则化损失函数L_re和Softmax归一化指数损失函数L_cls得到迁移损失函数L：

L＝L_cls+λ(L_img+L_ins+L_re)

其中，L_cls表示Softmax归一化指数损失函数，λ表示权重系数，λ用于分类和用于迁移的损失函数的权重的调整。

最后采用随机梯度下降算法对完整的迁移损失函数优化直至完整的迁移损失函数收敛，根据收敛后的完整损失函数的参数对CNN模型各个层的参数进行更新，得到目标CNN模型，CNN模型各个层的参数包括权值参数和偏置参数。

步骤4检测阶段：采集带有表面缺陷的注塑制品图像且不进行标注处理，将注塑制品图像输入到步骤3的目标CNN模型中进行测试得到预测缺陷分类结果，测试结果如表1所示，无迁移模型的注塑制品表面缺陷分类的准确率为 61.22％，只使用全局图像域分类器对注塑制品表面缺陷进行分类的准确率为 84.56％，只使用局部缺陷域分类器分类的准确率为87.93％，同时使用全局图像域分类器和局部缺陷域分类器进行分类的准确率为91.42％，融合全局图像域分类器和局部缺陷域分类器且通过正则约束的迁移模型，对注塑制品表面缺陷进行分类的准确率达到93.70％。

表1

由此可见利用本发明的迁移学习模型对注塑制品表面缺陷识别的准确率高，出现新的缺陷类别时，只需要微调模型即可识别新类型的缺陷，可以用于注塑生产过程。同时本发明可以将各种表面缺陷数据集作为目标任务的训练数据，通过迁移学习的方法，可以将其他类型的表面缺陷数据集有效地利用起来，解决了样本缺乏的问题，使得数据使用更加高效。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (6)

1.一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：

步骤1：将若干非注塑制品表面缺陷图像作为源域数据集，将若干注塑制品表面缺陷图像作为目标域数据集，源域数据集和目标域数据集均包含多种缺陷类别，对源域数据集的每张图像进行缺陷类别的标注，对两个数据集的所有图像进行域信息标注，域信息指对图像所属的数据集进行标注；

步骤2：建立CNN(卷积神经网络)模型，将两个数据集的所有图像作为样本输入CNN模型中进行训练，CNN模型主要由若干卷积层和全连接层依次连接组成，CNN模型通过若干卷积层提取得到各个样本的第一特征图，第一特征图再输入到全连接层，全连接层输出每一个样本对应的预测缺陷分类结果；

步骤3：建立迁移学习模型，将第一特征图输入迁移学习模型中得到迁移损失函数，根据迁移损失函数将源域数据集迁移到步骤2中的CNN模型，优化迭代得到目标CNN模型；

步骤4：采集带有表面缺陷的注塑制品图像，将采集的注塑制品图像输入到步骤3的目标CNN模型中进行检测得到预测缺陷分类结果。

2.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：步骤3具体包括以下步骤：

3.1)迁移学习模型包括依次连接的第八卷积层、第五池化层和两个域分类器，两个域分类器分别为全局特征域分类器和局部特征域分类器，第五池化层分别连接全局特征域分类器和局部特征域分类器，第五池化层经第九卷积层、激活函数连接全局特征域分类器，第五池化层经第四全连接层、激活函数连接到局部特征域分类器；

3.2)将步骤2得到的第一特征图作为全局特征域分类器和局部特征域分类器共享的特征图输入到迁移学习模型中，第一特征图依次经第八卷积层、第五池化层和第九卷积层输出全局特征图，第一特征图依次经第八卷积层、第五池化层和第四全连接层输出局部缺陷特征图；将全局特征图和局部缺陷特征图分别输入到全局特征域分类器和局部特征域分类器中进行训练得到预测域分类结果，根据预测域分类结果和域信息标注的结果得到全局特征损失函数L_img和局部特征损失函数L_ins，具体为：

将全局特征图输入到全局特征域分类器中得到全局特征预测域分类结果，根据全局特征预测域分类结果和域信息标注的结果得到全局特征损失函数，全局特征损失函数L_img的计算公式如下：

L_img＝-∑_i[D_ilogp_i+(1-D_i)log(1-p_i)]

p_i＝h(Φ(I_i))

其中，D_i表示第i张样本的域标签，D_i＝0时表示第i张样本来自源域数据集，D_i＝1时表示第i张样本来自目标域数据集，Φ(I_i)表示全局特征激活函数，p_i表示第i张样本来自目标域数据集的概率，h表示全局特征域分类器，I_i表示第i张样本的全局特征图；

将局部缺陷特征图输入到局部特征域分类器中得到局部特征预测域分类结果，根据局部特征预测域分类结果和域信息标注的结果得到局部特征损失函数，局部特征损失函数L_ins的计算公式如下：

其中，Φ_u,v(I_i)表示局部特征激活函数，表示局部缺陷特征图中的每个像素点(u,v)域分类的输出概率，g表示局部特征域分类器，∑_i,u,v表示第i张样本对应的局部缺陷特征图上的所有像素点之和；

3.3)利用正则化方法对全局特征域分类器和局部特征域分类器进行约束，得到正则化损失函数L_re：

其中|I|表示局部缺陷特征图中所有像素点的个数，||·||₂表示均方差L₂损失函数；

3.4)根据源域数据集中的所有样本的预测缺陷分类结果和缺陷类别的标注结果得到Softmax归一化指数损失函数L_cls，根据Softmax归一化指数损失函数L_cls、全局特征损失函数L_img、局部特征损失函数L_ins和正则化损失函数L_re得到迁移损失函数L：

L＝L_cls+λ(L_img+L_ins+L_re)

其中，L_cls表示Softmax归一化指数损失函数，λ表示权重系数；

3.5)采用随机梯度下降算法对迁移损失函数优化直至迁移损失函数收敛，根据收敛的迁移损失函数对CNN模型各个层的参数进行优化更新，得到目标CNN模型。

3.根据权利要求2所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：所述的CNN模型各个层的参数包括权值参数和偏置参数。

4.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：所述的CNN(卷积神经网络)模型主要由第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第六卷积层、第四池化层、第七卷积层、第一全连接层、第二全连接层和第三全连接层依次连接构成，样本输入到第一卷积层，经第五卷积层提取并输出第一特征图，第一特征图再作为第三池化层的输入并通过第三全连接层输出样本对应的预测缺陷分类结果。

5.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：所述的源域数据集采用金属材质表面缺陷图像或者高分子材料制品表面缺陷图像或者两者兼有。

6.根据权利要求1所述的一种基于迁移学习的注塑制品表面图像缺陷识别方法，其特征在于：所述的缺陷的类别包括飞边、裂纹、点蚀、凹痕和变色。