CN112200797B - 一种基于pcb噪声标注数据的有效训练方法 - Google Patents

Abstract

本发明公开一种基于PCB噪声标注数据的有效训练方法，包括以下步骤：S1、收集图像，建立含有噪声标注的PCB图像数据集和经过数据清洗的PCB图像数据集；S2、通过集成的Efficientnet模型分别提取两个数据集中每一幅图像的图像特征；S3、将提取的图像特征通过深度卷积网络进行降维；S4、采用余弦损失函数训练分类器模型；S5、采用迁移学习交替训练两个数据集，并在含有噪声标注的PCB图像数据集中的较大分辨率图像上进行微调，最终实现数据的训练，本发明主要用于解决当训练集中含有大量噪声标注时实现图像检索的问题，并在检索过程中实现高效的速度和准确性。

Description

一种基于PCB噪声标注数据的有效训练方法

技术领域

本发明涉及图像检索技术领域，尤其涉及一种基于PCB噪声标注数据的有效训练方法。

背景技术

PCB板是现代众多信息化、自动化的电子产品的基础构件，在整个电子产业的发展中起到承上启下的作用。前些年，因为政治经济影响，智能手机、个人电脑等主要电子产品消费量较少，电子行业增速缓慢，后来通过新兴技术在全球市场的推广和普及，国际对PCB产量的需求越来越大，市场容量不断扩张，市场巨大。为了适应时代的要求，就必须提升PCB产品的质量，由于PCB的制作工艺复杂，整个生产过程中受各种因素的影响，会产生很多方面的瑕疵。在机器视觉技术未广泛应用之前，PCB缺陷检测的主要手段是人工检测，其检测过程繁琐。随着PCB板的设计日趋复杂，其表面焊接的元器件尺寸也越来越小、分布越来越密，导致人工检测更加困难、耗时长且占用过多人力资源导致生产成本的提升，同时人工检测对工人的视力损伤较大，也存在检测一致性、准确性低的问题。为了提高生产力，降低生产成本，提高检测效率与准确性，研发高效的基于机器视觉技术的PCB缺陷检测方法，但是在数据过多的情况下，通过网络数据挖掘对图像标记时，会产生大量的噪声标注，目前还没有很好的算法对这些数据实现有效的训练，因此提出一种基于PCB噪声标注数据的有效训练方法具有重要的现实意义。

发明内容

针对上述问题，本发明提出一种基于PCB噪声标注数据的有效训练方法，主要解决背景技术中的问题。

本发明提出一种基于PCB噪声标注数据的有效训练方法，包括以下步骤：

S1、收集图像，建立含有噪声标注的PCB图像数据集和经过数据清洗的PCB图像数据集；

S2、通过集成的Efficientnet模型分别提取两个数据集中每一幅图像的图像特征；

S3、将提取的图像特征通过深度卷积网络进行降维；

S4、采用余弦损失函数训练分类器模型；

S5、采用迁移学习交替训练两个数据集，并在含有噪声标注的PCB图像数据集中的较大分辨率图像上进行微调，最终实现数据的训练。

进一步改进在于，所述Efficientnet模型的网络表达式为：

其中，N表示分类网络，代表卷积操作，X表示输入张量，F_i表示基础网络层，i表示卷积层数，L_i表示网络的长度；

所述Efficientnet模型通过网格搜索算法得到最优比例系数，然后按比例对网络宽度、深度和分辨率三个维度进行缩放，而所述最优比例系数为所述Efficientnet模型最大化精度值Acc_max(N(d，w，r))时的d、w、r值，所述最大化精度值Acc_max(N(d，w，r))的计算公式为：

其中，设置比例系数如下：深度宽度/>分辨率/>α，β，γ是变量，满足α×β²×γ²≈2，α≥1，β≥1，γ≥1。

进一步改进在于，所述Efficientnet模型包括MBConv模块和SE模块，所述MBConv模块由一个1*1的Conv+BN批量归一化层+Swish层、一个深度可分离卷积+BN批量归一化层+Swish层、一个1*1的Conv+BN批量归一化层依次连接组成，并在所述深度可分离卷积层后插入所述SE模块；

通过Efficientnet模型的图像特征提取过程如下：

S21、通过所述1*1的Conv+BN批量归一化层+Swish层对输入图像进行升维；

S22、通过深度可分离卷积+BN批量归一化层+Swish层对图像进行降采样；

S23、通过SE模块使得所述Efficientnet模型能够根据通道特征的重要程度进行学习；

S24、通过1*1的Conv+BN批量归一化层对图像进行降维。

进一步改进在于，所述深度可分离卷积层由一个深度卷积和一个1*1的卷积组成，降采样操作如下：

S221、假设输入一幅12*12*3的RGB图像；

S222、用5*5大小且通道数为1的三个卷积核对三个通道特征分别做卷积，得到三个通道的特征属性；

S223、对三个通道特征用尺寸1*1*3的卷积核再次卷积实现数据降维，最终得到输出8*8*1的图像。

进一步改进在于，所述SE模块包括压缩操作和激活操作；

所述压缩操作F_sq通过全局平均池化实现并得到全局描述特征，

其中，z_C为压缩操作的输出，u_C为压缩操作的输入，通常为上一层的卷积结果，F_sq为压缩操作，H，W分别为输入图像的高和宽；

所述激活操作通过学习各通道间的非线性关系，得到不同通道的权重，具体是：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂Swish(W₁z))

其中，s为各个通道的激活值，F_ex为激活操作，W₁，W₂分别为两个全连接层的权重，z为经过压缩操作的输出结果。

进一步改进在于，所述集成的Efficientnet模型是将Efficientnet-B5、Efficientnet-B6和Efficientnet-B7按照不同的权重连接起来，其中所述权重是根据每个模型的性能给出的，具体算法如下：

(1)已知训练集X＝{(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_N，y_N)}，x_i∈R^N，y_i∈{0，1}；

(2)初始化样本权重向量D₁＝(W₁₁，W₁₂，W₁₃，...，W_1N)，

(3)按照样本权重分布D_m训练数据得到第m个基学习器G_m(x)；

(4)计算G_m(x)在加权训练数据集上的分类误差率：

其中，I(·)表示指示函数，表示当G_m(x_i)≠y_i时输出为1，否则输出为0；

(5)计算G_m(x)的权重系数：

(6)更新训练样本权重向量：

D_m+1＝(w_m+1，1，w_m+1，2，...，w_m+1，N)，

(7)线性组合成强学习器：

(8)损失函数是指数函数：

优化目标为/>

(9)最终得到第m个基分类器G_m(x_i)及其权重α_m。

进一步改进在于，所述步骤S4中，余弦损失函数为：

其中，x_i∈R^d为第i个样本的特征，其标签类别为y_i，d是特征的维度。是y_i标签类别的权重向量，W_j是第j类的权重，/>是x_i与/>之间的夹角，θ_j，i是x_i与W_j之间的夹角，N和C分别是样本数和类别数，s是对余弦值进行放缩的比例，是超参数。

进一步改进在于，所述步骤S5中，采用迁移学习交替训练两个数据集，训练过程如下：

S51、使用ImageNet数据集进行预训练；

S52、使用经过数据清洗的PCB图像数据集训练模型，输入图像分辨率为512*512，批量大小为64；

S53、将S52得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为512*512，批量大小为64；

S54、将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为640*640，批量大小为64；同时将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为736*736，批量大小为32*32；

S55、将S54中640*640分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练；同时将S54中736*736分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练。

与现有技术相比，本发明的有益效果为：

1、提取特征选用了Efficientnet网络结构，通过网格搜索算法得到最优解的比例系数，按比例对网络宽度、深度、分辨率各个维度进行缩放，这种复合缩放法平衡了宽度、深度、分辨率三个维度，使卷积网络在准确率和效率上得到了改善；

2、用深度可分离卷积代替了普通卷积，假设一幅RGB图像，普通卷积是对三个通道同时做卷积，而深度可分离卷积是用通道数为1的卷积核对三个通道分别做卷积，提高了运算效率；

3、可分离卷积后加入了SE模块，让模型学习到了各个通道的权重系数，从而使网络模型对不同通道的特征有更好的辨别能力，增强了特征提取的性能。

4、采用了模型集成方法，将几个弱学习器通过权重连接组合成一个强学习器，泛化错误率低，精度高；

5、在两个数据集上进行交替训练，通过迁移学习，并调整图像分辨率，提高了模型训练效率和精度。

附图说明

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

图1为本发明一实施方式的整体流程示意图；

图2为本发明一实施方式的MBConv模块结构示意图；

图3为本发明一实施方式的深度可分离卷积DWConv结构示意图；

图4为本发明一实施方式的SE模块结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明的目的在于提供一种基于PCB噪声标注数据的有效训练方法，其特点是首先收集图像，建立数据集，包括含有大量噪声标注的PCB图像数据集(Dataset1)和经过数据清洗的PCB图像数据集(Dataset2)；然后通过集成的Efficientnet模型提取图像数据集中每一幅图像的特征；接着将提取的特征通过深度卷积网络进行降维；再采用余弦损失函数训练分类器模型；最后使用迁移学习交替训练两个数据集，并在Dataset2中分辨率大的图像上进行微调，最终实现数据的有效训练。该方法主要用于解决当训练集中含有大量噪声标注时实现图像检索的问题，并在检索过程中实现高效的速度和准确性。

参照图1到图4，一种基于PCB噪声标注数据的有效训练方法，包括以下步骤：

S1、收集图像，建立含有噪声标注的PCB图像数据集和经过数据清洗的PCB图像数据集；

S2、通过集成的Efficientnet模型分别提取两个数据集中每一幅图像的图像特征；

S3、将提取的图像特征通过深度卷积网络进行降维；

S4、采用余弦损失函数训练分类器模型；

S5、采用迁移学习交替训练两个数据集，并在含有噪声标注的PCB图像数据集中的较大分辨率图像上进行微调，最终实现数据的训练。

作为本发明一优选实施方案，所述步骤S2中，提取特征选用了Efficientnet网络结构，通过网格搜索算法得到最优解的比例系数，按比例对网络宽度、深度、分辨率各个维度进行缩放。Efficientnet网络表达式为：

其中N表示分类网络，/>代表卷积操作，X表示输入张量，F_i表示基础网络层，i表示卷积层数，L_i表示网络的长度。该网络做到了同时调整三个维度来进行优化，需要找到最优的三个维度的缩放参数以满足在模型参数和计算量达到最大化时模型的准确率有所提高。模型的最大化精度记作Acc_max(N(d，w，r))，计算公式为：

设置比例系数如下：深度宽度/>分辨率/>α，β，γ是变量，满足α×β²×γ²≈2，α≥1，β≥1，γ≥1，使用复合参数对网络的深度、宽度以及分辨率进行优化。

作为本发明一优选实施方案，所述Efficientnet模型包括MBConv模块和SE模块，所述MBConv模块示意图如图2所示，由一个1*1的Conv+BN批量归一化层+Swish层、一个深度可分离卷积+BN批量归一化层+Swish层、一个1*1的Conv+BN批量归一化层依次连接组成，并在所述深度可分离卷积层后插入所述SE模块；

通过Efficientnet模型的图像特征提取过程如下：

S21、通过所述1*1的Conv+BN批量归一化层+Swish层对输入图像进行升维；

S22、通过深度可分离卷积+BN批量归一化层+Swish层对图像进行降采样；

S23、通过SE模块使得所述Efficientnet模型能够根据通道特征的重要程度进行学习；

S24、通过1*1的Conv+BN批量归一化层对图像进行降维。

需要注意的是，当MBConv模块个数大于1时，第一个MBConv模块的卷积步长为S，其余的步长均为1；对特征的升维操作只在第一个MBConv模块的最后一个1*1卷积层进行，其他模块的特征通道维度不变。

作为本发明一优选实施方案，所述深度可分离卷积层由一个深度卷积和一个1*1的卷积组成，示意图如图3所示，降采样操作如下：

S221、假设输入一幅12*12*3的RGB图像；

S222、用5*5大小且通道数为1的三个卷积核对三个通道特征分别做卷积，得到三个通道的特征属性；

S223、对三个通道特征用尺寸1*1*3的卷积核再次卷积实现数据降维，最终得到输出8*8*1的图像。

深度可分离卷积和普通卷积效果是等效的，但是深度可分离卷积中存在大量的1*1卷积操作，可以使用高度优化矩阵相乘来完成计算，极大的提高了运算效率。

作为本发明一优选实施方案，所述SE模块包括压缩操作和激活操作。

所述压缩操作F_sq通过全局平均池化实现并得到全局描述特征，

其中，z_C为压缩操作的输出，u_C为压缩操作的输入，通常为上一层的卷积结果，F_sq为压缩操作，H，W分别为输入图像的高和宽；

所述激活操作通过学习各通道间的非线性关系，得到不同通道的权重，具体是：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂Swish(W₁z))

其中，s为各个通道的激活值，F_ex为激活操作，W₁，W₂分别为两个全连接层的权重，z为经过压缩操作的输出结果。

SE模块结构图如图4所示，采用包含两个全连接层的瓶颈结构来实现，这种模型在降低模型复杂度的同时增强了模型的泛化能力。第一个全连接层作用是降维，后接Swish层进行激活；经过第二个全连接层恢复原始的维度后再经过sigmoid激活；最后将得到的各通道激活值s_C乘以原始特征u_C即可得到最终的特征

作为本发明一优选实施方案，所述集成的Efficientnet模型是将Efficientnet-B5、Efficientnet-B6和Efficientnet-B7按照不同的权重连接起来，通过集成它们三个的学习能力得到一个强学习器。集成原理是在之前学习器的基础上改变样本的权重，增加那些之前被分类错误的样本比重，降低分类正确样本的比重，这样之后的学习器将重点关注那些被分类错误的样本，最后通过将这些学习器通过加权组合成一个强学习器。权重是根据每个模型的性能给出的，分类正确率高的学习器权重较高，分类正确率低的学习器权重较低。具体算法如下：

(1)已知训练集X＝{(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_N，y_N)}，x_i∈R^N，y_i∈{0，1}；

(2)初始化样本权重向量D₁＝(W₁₁，W₁₂，W₁₃，...，W_1N)，

(3)按照样本权重分布D_m训练数据得到第m个基学习器G_m(x)；

(4)计算G_m(x)在加权训练数据集上的分类误差率：

其中，I(·)表示指示函数，表示当G_m(x_i)≠y_i时输出为1，否则输出为0；

(5)计算G_m(x)的权重系数：

(6)更新训练样本权重向量：

D_m+1＝(w_m+1，1，w_m+1，2，...，w_m+1，N)，

(7)线性组合成强学习器：

(8)损失函数是指数函数：

优化目标为/>

(9)最终得到第m个基分类器G_m(x_i)及其权重α_m。

作为本发明一优选实施方案，所述步骤S4中，余弦损失函数为：

其中，x_i∈R^d为第i个样本的特征，其标签类别为y_i，d是特征的维度。是y_i标签类别的权重向量，W_j是第j类的权重，/>是x_i与/>之间的夹角，θ_j，i是x_i与W_j之间的夹角，N和C分别是样本数和类别数，s是对余弦值进行放缩的比例，是超参数。

作为本发明一优选实施方案，所述步骤S5中，采用迁移学习交替训练两个数据集，训练过程如下：

S51、使用ImageNet数据集进行预训练；

S52、使用经过数据清洗的PCB图像数据集训练模型，输入图像分辨率为512*512，批量大小为64；

S53、将S52得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为512*512，批量大小为64；

S54、将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为640*640，批量大小为64；同时将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为736*736，批量大小为32*32；

S55、将S54中640*640分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练；同时将S54中736*736分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练。

最后发现在两个数据集上交替训练后，输入分辨率更高的模型精度更高。

图中，描述位置关系仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于PCB噪声标注数据的有效训练方法，其特征在于，包括以下步骤：

S1、收集图像，建立含有噪声标注的PCB图像数据集和经过数据清洗的PCB图像数据集；

S2、通过集成的Efficientnet模型分别提取两个数据集中每一幅图像的图像特征；

所述Efficientnet模型包括MBConv模块和SE模块，所述MBConv模块由一个1*1的Conv+BN批量归一化层+Swish层、一个深度可分离卷积+BN批量归一化层+Swish层、一个1*1的Conv+BN批量归一化层依次连接组成，并在所述深度可分离卷积层后插入所述SE模块；

通过Efficientnet模型的图像特征提取过程如下：

S21、通过所述1*1的Conv+BN批量归一化层+Swish层对输入图像进行升维；

S22、通过深度可分离卷积+BN批量归一化层+Swish层对图像进行降采样；

S23、通过SE模块使得所述Efficientnet模型能够根据通道特征的重要程度进行学习；

S24、通过1*1的Conv+BN批量归一化层对图像进行降维；

所述集成的Efficientnet模型是将Efficientnet-B5、Efficientnet-B6和Efficientnet-B7按照不同的权重连接起来，其中所述权重是根据每个模型的性能给出的，具体算法如下：

(1)已知训练集X＝{(x₁，y₁)，(x₂，y₂)，(x₃，y₃)，...，(x_N，y_N)}，x_i∈RN，y_i∈{0，1}；

(2)初始化样本权重向量D₁＝(W₁₁，W₁₂，W₁₃，...，W_1N)，

(3)按照样本权重分布D_m训练数据得到第m个基学习器G_m(x)；

(4)计算G_m(x)在加权训练数据集上的分类误差率：

其中，I(·)表示指示函数，表示当G_m(x_i)≠y_i时输出为1，否则输出为0；

(5)计算G_m(x)的权重系数：

(6)更新训练样本权重向量：

D_m+1＝(w_m+1,1，w_m+1,2，...，w_m+1,N)，

(7)线性组合成强学习器：

(8)损失函数是指数函数：

优化目标为/>

(9)最终得到第m个基分类器G_m(x_i)及其权重α_m；

S3、将提取的图像特征通过深度卷积网络进行降维；

S4、采用余弦损失函数训练分类器模型；

S5、采用迁移学习交替训练两个数据集，并在含有噪声标注的PCB图像数据集中的分辨率图像上进行微调，最终实现数据的训练。

2.根据权利要求1所述的一种基于PCB噪声标注数据的有效训练方法，其特征在于，所述Efficientnet模型的网络表达式为：

其中，N表示分类网络，代表卷积操作，X表示输入张量，Fi表示基础网络层，i表示卷积层数，L_i表示网络的长度；

所述Efficientnet模型通过网格搜索算法得到最优比例系数，然后按比例对网络宽度、深度和分辨率三个维度进行缩放，而所述最优比例系数为所述Efficientnet模型最大化精度值Acc_max(N(d，w，r))时的d、w、r值，所述最大化精度值Acc_max(N(d，w，r))的计算公式为：

其中，设置比例系数如下：深度宽度/>分辨率/>α，β，γ是变量，满足α×β²×γ²≈2，α≥1，β≥1，γ≥1。

3.根据权利要求1所述的一种基于PCB噪声标注数据的有效训练方法，其特征在于，所述深度可分离卷积层由一个深度卷积和一个1*1的卷积组成，降采样操作如下：

S221、假设输入一幅12*12*3的RGB图像；

S222、用5*5大小且通道数为1的三个卷积核对三个通道特征分别做卷积，得到三个通道的特征属性；

S223、对三个通道特征用尺寸1*1*3的卷积核再次卷积实现数据降维，最终得到输出8*8*1的图像。

4.根据权利要求1所述的一种基于PCB噪声标注数据的有效训练方法，其特征在于，所述SE模块包括压缩操作和激活操作；

所述压缩操作F_sq通过全局平均池化实现并得到全局描述特征，

其中，z_C为压缩操作的输出，u_C为压缩操作的输入，通常为上一层的卷积结果，F_sq为压缩操作，H，W分别为输入图像的高和宽；

所述激活操作通过学习各通道间的非线性关系，得到不同通道的权重，具体是：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂Swish(W₁z))

其中，s为各个通道的激活值，F_ex为激活操作，W₁，W₂分别为两个全连接层的权重，z为经过压缩操作的输出结果。

5.根据权利要求1所述的一种基于PCB噪声标注数据的有效训练方法，其特征在于，所述步骤S4中，余弦损失函数为：

其中，x_i∈R^d为第i个样本的特征，其标签类别为y_i，d是特征的维度，是y_i标签类别的权重向量，W_j是第j类的权重，/>是x_i与/>之间的夹角，θ_j，i是x_i与W_j之间的夹角，N和C分别是样本数和类别数，s是对余弦值进行放缩的比例，是超参数。

6.根据权利要求1所述的一种基于PCB噪声标注数据的有效训练方法，其特征在于，所述步骤S5中，采用迁移学习交替训练两个数据集，训练过程如下：

S51、使用ImageNet数据集进行预训练；

S52、使用经过数据清洗的PCB图像数据集训练模型，输入图像分辨率为512*512，批量大小为64；

S53、将S52得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为512*512，批量大小为64；

S54、将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为640*640，批量大小为64；同时将S53得到的模型在含有噪声标注的PCB图像数据集上训练，输入图像分辨率为736*736，批量大小为32*32；

S55、将S54中640*640分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练；同时将S54中736*736分辨率数据训练得到的模型在经过数据清洗的PCB图像数据集上继续训练。