CN111899221A - 一种面向外观缺陷检测的自迁移学习方法 - Google Patents

Abstract

本发明公开了一种面向外观缺陷检测的自迁移学习方法，包括以下步骤：相机采图，获得初始图像数据集；构建自迁移学习模型，所述自迁移学习模型包括图像预处理模块、特征提取模块、缺陷检测模块和类别判断模块；将所述初始图像数据集输入所述图像预处理模块，经n种预处理算法，获得预处理后的图像集；将初始图像集和预处理后的图像集输入特征提取模块，通过训练，获得初始图像集特征向量和预处理后的图像集相应的特征向量；将预处理后的图像集相应的特征向量输入缺陷检测模块和类别判断模块并进行训练，优化参数，获得自迁移学习模型。在目标数据量特别稀少情况下，该模型能够挖掘目标数据的潜在特征，避免复杂缺陷特征的提取，缺陷检测准确率高。

Description

一种面向外观缺陷检测的自迁移学习方法

技术领域

本发明涉及缺陷检测技术领域，具体涉及一种面向外观缺陷检测的自迁移学习方法。

背景技术

随着经济的蓬勃发展，我国制造业也在迅速发展，对产品外观质量提出了越来越高的要求。目前大多外观质检仍采用人工目检的方式，这种方法效率低且经常会出现漏检误检等。导致产品质量降低，且造成了资源的浪费。为更好控制产品外观缺陷，基于机器视觉的智能检测手段，在生产线质量鉴定环节将逐步取代人工目检，成为主流方法。

对于背景复杂的目标图像，深度学习在训练的过程中会更易受到复杂因素的干扰，特征多，相互干扰，会使得深度学习模型难以拟合。

发明内容

本发明要解决的技术问题是提供一种面向外观缺陷检测的自迁移学习方法，其在增强缺陷特征的同时又保留了原图的信息，避免复杂缺陷特征的提取，缺陷检测准确率高。

为了解决上述技术问题，本发明提供了一种面向外观缺陷检测的自迁移学习方法，包括步骤一、使用相机采集图像，获得初始图像数据集X；

步骤二、构建自迁移学习模型，所述自迁移学习模型包括图像预处理模块、特征提取模块、缺陷检测模块和类别判断模块；

步骤三、将所述初始图像数据集X输入所述图像预处理模块，经n种预处理算法，获得预处理后的图像集

步骤四、将初始图像集X和预处理后的图像集

输入特征提取模块，通过训练，获得初始图像集X相应的特征向量和预处理后的图像集

相应的特征向量；

步骤五、将预处理后的图像集相应的特征向量输入至所述缺陷检测模块和类别判断模块并进行训练，优化参数，获得训练后的自迁移学习模型，具体包括：

所述缺陷检测模块采用的是交叉熵损失E₁：

G_f是特征提取模块，G_y是缺陷检测模块，L_y是缺陷检测模块的损失，y_i为数据所属类别。n_s表示源数据集的数据种类，D_s表示源域数据集，X_i表示源域某一类的数据集；

所述类别判断模块的检测方法包括：

E₂表示检测所依据的损失，D_t表示目标数据集，n_t表示目标数据集的数据类别数量，C_s表示源域的标记空间，

是对不同预处理数据集进行类判别的判别器，预处理数据与原数据接近的数据权值高，差异大的数据权值低，

表示样本权值，判断该样本的类别，

表示有监督损失，d_i为样本域标签，λ表示超参数，k＝1,...,|C_s|；

所述自迁移学习模型的目标函数为：

其中，θ_f表示特征提取模块的参数，θ_y表示缺陷检测模块的参数，θ_d表示类别判断模块的参数；

所述自迁移学习模型参数的优化方法为：

其中，θ_f表示特征提取模块的参数，

表示特征提取模块待优化参数，θ_y表示缺陷检测模块的参数，

表示缺陷检测模块待优化参数，θ_d表示类别判断模块的参数，

表示类别判断模块的待优化参数，L_y表示缺陷检测模块的分类器，L_d表示缺陷检测模块分类器，μ是学习速率；

在训练过程中通过不断的交叉训练与更新，使自迁移学习模型的网络中的参数达到最优。

作为优选的，还包括数据筛选模块，所述步骤四和步骤五之间还包括：所述数据筛选模块对所述步骤四预处理后的图像集

相应的特征向量进行筛选，去除差异大的预处理后的图像集,具体包括：

所述数据筛选模块的筛选方法包括：

对于每一批数据集，随机选取l个样本，选取m次，直至每一批数据集被遍历num次；

采用Wasserstein Distance衡量初始图像数据集X中的l个样本与每一批预处理数据集中的l个样本的接近程度,

W(X_n,X)＜β，

其中，

X^l表示每一批选取的数据集，X_n,X分别表示预处理之后的样本集和原样本集，

x^l分别表示两种数据集中的样本，n表示采用预处理的方法数量，γ表示两种样本在模型当中的受到的关联程度，β表示衡量的标准；

所述数据筛选模块对预处理后的图像集

依次进行筛选，获得符合衡量标准β的预处理后的图像集X₁,X₂，...，X_k。

本发明的有益效果：

在目标原图特征复杂，干扰因素较多，缺陷类型不明显的情况下，采用数字图像技术预处理的同时也会造成一些信息的丢失，本发明构建自迁移学习模型进行缺陷检测，在目标数据量特别稀少情况下，该模型能够挖掘目标数据的潜在特征，同时避免复杂缺陷特征的提取，与单纯的深度神经网络相比，本发明的缺陷检测准确率更高。

附图说明

图1为本发明的自迁移学习模型，其中FC₁表示缺陷检测模块中的全连接网络，

表示类别判断模块中的全连接网络；

图2为实施例一中初始图像数据集和数据筛选模块筛选后的预处理数据集；

图3为实施例一中ALEXNET的检测结果；

图4为实施例一中自迁移模型的检测结果。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

参照图1所示，本发明公开了一种面向外观缺陷检测的自迁移学习方法，包括以下步骤：

步骤一、使用相机采集图像，获得初始图像数据集X。在此步骤中，可采用工业相机进行图像采集。

步骤二、构建自迁移学习模型，所述自迁移学习模型包括图像预处理模块、特征提取模块、缺陷检测模块和类别判断模块。

步骤三、将所述初始图像数据集X输入所述图像预处理模块，经n种预处理算法，获得预处理后的图像集

步骤四、将初始图像集X和预处理后的图像集

输入特征提取模块，通过训练，获得初始图像集X相应的特征向量和预处理后的图像集

相应的特征向量。特征提取模块由卷积层和池化层组成。通过训练，可得到相应的特征向量f。

步骤五、将预处理后的图像集相应的特征向量输入至所述缺陷检测模块和类别判断模块并进行训练，优化参数，获得训练后的自迁移学习模型，具体包括：

(1)缺陷检测模块负责判别图像是否存在缺陷，所述缺陷检测模块采用的是交叉熵损失E₁：

G_f是特征提取模块，G_y是缺陷检测模块，L_y是缺陷检测模块的损失，y_i为数据所属类别。n_s表示源数据集的数据种类，D_s表示源域数据集，X_i表示源域某一类的数据集；

(2)针对不同的预处理图像，需分别对其采用类别判断模块进行分类，类别判断模块判别图像所属的类别，所述类别判断模块的检测方法包括：

E₂表示检测所依据的损失，D_t表示目标数据集，n_t表示目标数据集的数据类别数量，C_s表示源域的标记空间，

是对不同预处理数据集进行类判别的判别器，预处理数据与原数据接近的数据权值高，差异大的数据权值低，

表示样本权值，判断该样本的类别，

表示有监督损失，d_i为样本域标签，λ表示超参数，k＝1,...,|C_s|；

参照图1所示，特征提取模块努力抽取样本的特征，目的是使抽取出的特征能让缺陷检测模块准确检测，还能使类别判断模块不能分辨出当前的对象属于哪一类数据集。类别判断模块，它要尽最大的分类能力，根据特征提取模块输出的特征进行分辨，但仍不能分辨出。只有达到这种程度，才能将两种不同样本之间区域的信息去除。

因此，在网络的优化过程就是缺陷检测监测模块和类别判断模块的对抗过程。通过加入梯度翻转，保证缺陷检测监测模块和类别判断模块优化的方向一致。

(3)模型的最终目标是，特征提取模块提取出的特征f为原图和预处理图的相似缺陷特征，从而实现迁移。训练方法是：缺陷检测模块依据目标函数努力分辨特征f是否属于缺陷图像。

所述自迁移学习模型的目标函数为：

其中，θ_f表示特征提取模块的参数，θ_y表示缺陷检测模块的参数，θ_d表示类别判断模块的参数；

所述自迁移学习模型参数的优化方法为：

其中，θ_f表示特征提取模块的参数，

表示特征提取模块待优化参数，θ_y表示缺陷检测模块的参数，

表示缺陷检测模块待优化参数，θ_d表示类别判断模块的参数，

表示类别判断模块的待优化参数，L_y表示缺陷检测模块的分类器，L_d表示缺陷检测模块分类器，μ是学习速率；

在训练过程中通过不断的交叉训练与更新，使自迁移学习模型的网络中的参数达到最优。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：在目标原图特征复杂，干扰因素较多，缺陷类型不明显的情况下。采用数字图像技术预处理的同时也会造成一些信息的丢失。本发明构建缺陷引导深度学习模型进行缺陷检测，在增强缺陷特征的同时又保留了原图的信息，也避免复杂缺陷特征的提取。与单纯的深度神经网络相比，本发明的缺陷检测准确率更高。

本发明还包括数据筛选模块，为减少奇异数据集对迁移效果的影响，采用数据集筛选模块对不同预处理算法的数据集进行判断，将差异较大的数据集去除。所述步骤四和步骤五之间还包括：所述数据筛选模块对所述步骤四预处理后的图像集

相应的特征向量进行筛选，去除差异大的预处理后的图像集。具体的，所述数据筛选模块的筛选方法包括：

S1、从数据集中随机选取l个样本，选取m次，直至数据集被遍历num次；

S2、采用Wasserstein Distance衡量初始图像数据集X与l个样本的接近程度

W(X_n,X)＜β，

其中，

X^l表示每一批选取的数据集，X_n,X分别表示预处理之后的样本集和原样本集，

x^l分别表示两种数据集中的样本，n表示采用预处理的方法数量，γ表示两种样本在模型当中的受到的关联程度，β表示衡量的标准；

所述数据筛选模块对预处理后的图像集

依次进行筛选，获得符合衡量标准β的预处理后的图像集X₁,X₂，...，X_k

实施例一

磁环制造行业中，生产出的磁环会存在隐裂缺陷，该缺陷类型不明显。检测效果往往不理想，因此采用自迁移学习方法进行检测。

一、在生产设备上进行图像的采集，得到图片数据集。对采集的数据用四种预处理算法得到X₁，X₂，X₃，X₄；

二、磁环图片经预处理之后如图2所示。将预处理之后的图片与原图送入特征提取模块，分别得到四种预处理图的特征：f₁，f₂，f₃，f₄，原图特征：f_org。衡量预处理数据集与原图数据集特征层面的距离，去除距离最大的25％的数据集。筛选之后得到X₁，X₃，X₄；

三、缺陷检测模块根据特征f判别磁环数据是否存在缺陷，采用交叉熵损失：

四、针对不同数据集中的磁环图片，分别采用类别判断模块进行分类，类别判断模块判断图像所属的类别，判断方法如下：

五、对特征引导深度学习模型进行训练，模型的目标函数如下：

E(θ_f,θ_y,θ_d)＝E₁-E₂～W(X_n,X)

参数优化方法如下：

六、训练结束之后得到最优的模型参数θ_f,θ_y,θ_d，使用这组参数，进行后续的缺陷检测。

实验结果如图4所示，其中，“*”标记表示存在缺陷的磁环，“o”标记表示无缺陷磁环。检测结果为1表示网络分类该样本为缺陷样本，为0表示网络分类该样本为无缺陷样本。

为了进行对比，增加了单纯深度神经网络ALEXNET的检测结果，如图3所示为ALEXNET的检测结果示意图。

表1

	检出缺陷	误检缺陷	检出率/％	误检率/％
					ALEXNET	89	8	89	8.2
自迁移模型	96	2	96	2

表1为ALEXNET和自迁移模型实验结果的数据对比。从表1和图4可以看出，本发明中的特征引导深度学习模型检测精度优于单纯的深度神经网络。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (2)

1.一种面向外观缺陷检测的自迁移学习方法，其特征在于，包括以下步骤：

步骤一、使用相机采集图像，获得初始图像数据集X；

步骤二、构建自迁移学习模型，所述自迁移学习模型包括图像预处理模块、特征提取模块、缺陷检测模块和类别判断模块；

步骤三、将所述初始图像数据集X输入所述图像预处理模块，经n种预处理算法，获得预处理后的图像集

步骤四、将初始图像集X和预处理后的图像集

输入特征提取模块，通过训练，获得初始图像集X相应的特征向量和预处理后的图像集

相应的特征向量；

步骤五、将图像集相应的特征向量输入至所述缺陷检测模块和类别判断模块并进行训练，优化参数，获得训练后的自迁移学习模型，具体包括：

所述缺陷检测模块采用的是交叉熵损失E₁：

G_f是特征提取模块，G_y是缺陷检测模块，L_y是缺陷检测模块的损失，y_i为数据所属类别。n_s表示源数据集的数据种类，D_s表示源域数据集，X_i表示源域某一类的数据集；

所述类别判断模块的检测方法包括：

E₂表示检测所依据的损失，D_t表示目标数据集，n_t表示目标数据集的数据类别数量，C_s表示源域的标记空间，

是对不同预处理数据集进行类判别的判别器，预处理数据与原数据接近的数据权值高，差异大的数据权值低，

表示样本权值，判断该样本的类别，

表示有监督损失，d_i为样本域标签，λ表示超参数，k＝1,...,|C_s|；

所述自迁移学习模型的目标函数为：

其中，θ_f表示特征提取模块的参数，θ_y表示缺陷检测模块的参数，θ_d表示类别判断模块的参数；

所述自迁移学习模型参数的优化方法为：

其中，θ_f表示特征提取模块的参数，

表示特征提取模块待优化参数，θ_y表示缺陷检测模块的参数，

表示缺陷检测模块待优化参数，θ_d表示类别判断模块的参数，

表示类别判断模块的待优化参数，L_y表示缺陷检测模块的分类器，L_d表示缺陷检测模块分类器，μ是学习速率；

在训练过程中通过不断的交叉训练与更新，使自迁移学习模型的网络中的参数达到最优。

2.如权利要求1所述的面向外观缺陷检测的自迁移学习方法，其特征在于，还包括数据筛选模块，所述步骤四和步骤五之间还包括：

所述数据筛选模块对所述步骤四预处理后的图像集

相应的特征向量进行筛选，去除差异大的预处理后的图像集，具体包括：

S1、对于每一批数据集，随机选取l个样本，选取m次，直至每一批数据集被遍历num次；

S2、采用Wasserstein Distance衡量初始图像数据集X中的l个样本与每一批预处理数据集中的l个样本的接近程度，

W(X_n,X)＜β，

其中，

X^l表示每一批选取的数据集，X_n,X分别表示预处理之后的样本集和原样本集，

x^l分别表示两种数据集中的样本，n表示采用预处理的方法数量，γ表示两种样本在模型当中的受到的关联程度，β表示衡量的标准；

S3、所述数据筛选模块对预处理后的图像集

依次进行筛选，获得符合衡量标准β的预处理后的图像集X₁,X₂，...，X_k。

Images