CN115375946A

CN115375946A - 基于多尺度注意力机制的电子元器件深度迁移识别方法

Info

Publication number: CN115375946A
Application number: CN202211054540.9A
Authority: CN
Inventors: 夏玉果
Original assignee: Jiangsu Vocational College of Information Technology
Current assignee: Jiangsu Vocational College of Information Technology
Priority date: 2022-08-31
Filing date: 2022-08-31
Publication date: 2022-11-22

Abstract

本发明公开了基于多尺度注意力机制的电子元器件深度迁移识别方法，包括通过在注意力模块中，采用金字塔池化思想，以不同尺寸对输入特征图进行最大池化，再对不同尺寸的特征图使用均值池化，从而关注不同大小的通道特征，然后，在空间注意力模块中，采用标准卷积和空洞卷积相结合的方法，选择不同的空洞率，增大特征图视野，关注更多的空特征信，最后，引入预训练模型，进一步提升系统在小样本上的识别性能。与现有的许多方法相比，本发明可以更好地提取元器件的关键特征，得到更好的识别效果。

Description

基于多尺度注意力机制的电子元器件深度迁移识别方法

技术领域

本发明涉及电子元器件技术领域，具体为基于多尺度注意力机制的电子元器件深度迁移识别方法。

背景技术

电子元器件是电子产品和设备的重要组成部分，也是电子产品生产的基础，而电子元器件的识别是根据不同元器件的外形特征，判断其属于不同的类别，它是进行电子产品生产焊接、检测、组装的首要环节，将直接决定电子产品生产的质量和效率，对于现代电子产品生产和制造具有非常重要的意义。

目前，国内外对于电子元器件自动识别的研究还不多，2008年，国内杜思思等首次提出电子元器件自动分类的算法，主要包括直线段精确检测、快速圆检测和管脚数检测算法，在8种常见的元器件识别中取得了不错效果，但也存在要针对每一种元器件的特点来设计一个特征提取算法，通用性较差，并且对于体积小的电子元器件错误率较高等问题。2012年以来，深度卷积神经网络在机器视觉各个领域取得了巨大成功并引起广泛的关注，电子元器件识别的研究也集中采用深度学习方法，如陈翔提出的基于深度神经网络的电子元器件分类方法，利用AlexNet网络自动提取特征并进行分类，在5种常见的电子元器件数据集上取得不错的分类效果，但是数据集相对偏小。蔡立明等则针对电路板上的板载元器件，提出了多特征融合的深度神经网络算法，但是仅仅利用VGG16作为后端分类器，系统的工作效率不够。陈文帅等利用目标检测算法对极性电子元器件类别与方向识别进行了研究，将Faster RCNN与YOLO V3相结合实现了对极性电子元器件的准确分类和方向识别，在5种型号的二极管数据集上取得良好的效果。深度学习的方法虽然具有自动提取图像特征、分类准确率高等特性，其性能远远优优越于传统的基于特征提取的算法，但也存在随着网络的不断加深，计算量逐渐增大的缺点，同时对硬件也提出了更高的要求。其中，Xception是InceptionV3的改进网络模型，主要特点是引入深度可分离卷积和残差网络。

随着半导体技术的发展，电子元器件正在向微型化、多样化、细间距、多引脚方向发展。如传统的插件元器件正在逐渐被表面贴装元器件取代，封装形式为0402、0201的表面组装元件已经相当普遍，也出现01005这种接近设备和工艺极限尺寸的封装形式，这些都给电子元器件的分类和识别带来了巨大挑战。

发明内容

本发明提供基于多尺度注意力机制的电子元器件深度迁移识别方法，解决了电子元器件种类多、差异性小、分布不均衡的问题。

为实现上述目的，本发明提供如下技术方案：基于多尺度注意力机制的电子元器件深度迁移识别方法，包括以下步骤：

S1、选用Xception作为主干网络，输入电子元器件特征图的数据集；

S2、引入多尺度注意力机制，将多尺度注意力模块放在Xception网络的输出层之后以及池化层之前；

S3、根据图片的不同尺度的通道和空间位置信息，结合空间金字塔池化的思想，重新为特征图赋予权重；

S4、将Xception在ImageNet数据集上预训练的模型参数直接迁移到所述多尺度注意力机制模型中，并在原有参数的基础上，经过多尺度注意力模块在不同尺度上为高层特征加权，在迭代次数较少的情况下获取训练效果；

S5、最后在决策分类层识别出对应的元器件种类。

进一步地，所述Xception模型包括输入流、中间流和输出流部分，共包括14个模块，且所述模块的结构包括若干个深度可分离卷积和最大池化层。

进一步地，除了前后两个所述模块外，其他所述模块采用残差连接。

进一步地，所述注意力模块包括通道注意力模块和空间注意力模块。

进一步地，所述通道注意力模块通过设输入特征图F，首先在类似金字塔池化层中，进行不同尺度的最大池化操作F_m，池化的尺寸分别为1×1×C、2×2×C、3×3×C、4×4×C；为了进一步提取图片的高层特征，将最大池化后的特征图分别进行全局均值池化F_n，然后将得到的4个特征相加，并输入多层感知机，最后经过Sigmoid函数生成通道注意力权重M_C(F)，公式表示为：

F_m＝MaxPool(F)，m∈{1，2，3，4，}

F_n＝AvgPool(F_m)

其中，F_m表示最大池化，m表示不同池化尺寸，F_n表示全局均值池化，MLP表示多层感知机，σ表示Sigmoid函数，M_C(F)表示通道注意力权重。

进一步地，所述多尺度空间注意力模块包括2个标准卷积和3个空洞卷积，通过输入的特征图F∈R^H×W×C，经过1×1的标准卷积压缩通道维数并提出特征图细节信息，然后利用3个3×3的空洞卷积层来提取不同尺度的空间信息，设置不同的膨胀率，增大感受野，再经过1×1的标准卷积生成1维的空间特征图R^H×W×1，最后经过Sigmoid函数生成空间注意力权重M_s(F)，

M_s(F)＝σ(f(i)^1×1(f(i)^3×3(f(i)^3×3(f(i)^3×3(f(i)^1×1(F))))))

其中M_s(F)表示空间注意力权重，σ表示Sigmoid函数，f(i)表示卷积运算，r表示空洞卷积的膨胀率，k表示感受野大小，当r＝1时，空洞卷积就是标准卷积，当r＞1时，空洞卷积是在标准卷积的卷积核中每两个相邻权重之间插入r-1个0，此时感受野的大小为(k-1)×r+1。

与现有技术相比，本发明的有益效果：本发明以Xception为主干模型网络，提出一种基于多尺度注意力机制的元器件识别方法，首先，在注意力模块中，采用金字塔池化思想，以不同尺寸对输入特征图进行最大池化，再对不同尺寸的特征图使用均值池化，从而关注不同大小的通道特征；然后，在空间注意力模块中，采用标准卷积和空洞卷积相结合的方法，选择不同的空洞率，增大特征图视野，关注更多的空特征信；最后，引入预训练模型，进一步提升系统在小样本上的识别性能，结果表明，与现有的许多方法相比，本方法可以很好地提取元器件的关键特征，得到较好的识别效果。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是本发明多尺度注意力机制模型结构的示意图；

图2是本发明Xception模型结构的示意图；

图3是本发明多尺度池化通道注意力模块的结构示意图；

图4是本发明多尺度空间注意力模块的结构示意图；

图5是本发明迁移学习示意图；

图6是本发明基于Xception模型的元器件识别结果图；

图7是本发明基于多尺度注意力机制的元器件识别结果图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种基于多尺度注意力机制和迁移学习的识别算法，从以下三个方面进行改进：

(1)选择对样本具有较好细粒度分类效果的Xception作为主干网络，解决电子元器件图像之间差异小的问题；

(2)借鉴通道和空间注意力的设计理论，提出多尺度注意力机制，突出样本的关键特征的同时更加关注不同尺度的特性信息，进一步解决电子元器件之间差异性小的问题；

(3)使用迁移学习的方法，引入在ImageNet预训练好的Xception模型，并采用数据增强的方法，解决电子元器件数据集样本数量少且不均衡的问题。

基于以上分析，本发明所提的基于多尺度注意力机制模型结构如图1所示。选用Xception作为主干网络，并利用预训练模型的权重参数来优化电子元器件数据集规模小带来的过拟合问题，并在此基础上引入多尺度注意力机制。将多尺度注意力模块放在Xception网络的输出层之后以及池化层之前，其中注意力模块包括通道注意力和空间注意力，最后的决策分类层对应本发明的元器件种类。主要包括以下内容：

1、选用Xception模型

Xception是InceptionV3的改进网络模型，主要特点是引入深度可分离卷积和残差网络。这里的深度可分离卷积先用1×1卷积处理跨通道信息，再在每个通道上用单独的3×3卷积核处理特征的空间信息，有效实现了在空间与通道上映射的分解耦合性，大大减少模型参数量，也使得模型具有一定的深度，这样可以确保模型学习到图像高层次的语义信息。同时，利用残差网络连接机制，加快网络的收敛速度，进一步提高模型性能。

Xception模型可分为输入流、中间流和输出流三个部分，共有14个模块，其中每个模块的结构中均由若干个深度可分离卷积和最大池化层组成，除前后两个模块外，其他都采用了残差连接。在模型中的36个深度可分离卷积层，卷积核大小均为3×3，在残差连接中均采用卷积核大小1×1的卷积操作，如图2所示。

2、引入多尺度注意力机制

在图像处理中常用的注意力机制分为通道注意力、空间注意力和混合域注意力，其中通道注意力关注特征图通道之间关系，对不同通道的特征图进行权重分配，空间注意力更加关注图像的像素区域，更好保留图像的空间信息，而混合域则是将上述两种不同注意力组合起来，其中典型的模型是CBAM(Convolution Block Attention Model)，它是从通道和空间两个维度计算特征图的注意力权重，然后与特征图相乘，从而构成从通道到空间的顺序结构。依据这一思想，本发明在此基础上，提出一种基于多尺度注意力机制，根据图片的不同尺度的通道和空间位置信息，重新为特征图赋予权重。

2.1多尺度池化通道注意力

CBAM中的通道注意力是对每一个通道进行全局的最大池化和均值池化，这样虽然可以获取不同通道的特征权重，但由于采用全局的池化也容易忽略图片在不同尺度上的特征，特别是对于元器件，由于它们之间的相似性较大，这样势必影响识别效果。因此，本发明结合空间金字塔池化的思想，采用多尺度池化来获得通道注意力权重，如图3所示。

具体通过设输入特征图F，首先在类似金字塔池化层中，进行不同尺度的最大池化操作F_m，池化的尺寸分别为1×1×C、2×2×C、3×3×C、4×4×C。为了进一步提取图片的高层特征，这里对CBAM的通道注意力中的池化连接方式进行修改，将“并行”连接改为“串行”连接^[16]，即将最大池化后的特征图分别进行全局均值池化F_n，然后将得到的4个特征相加，并输入多层感知机MLP(MultiLayer Perception)，最后经过Sigmoid函数生成通道注意力权重M_C(F)，这里

F_m＝MaxPool(F)，m∈{1，2，3，4，}

F_n＝AvgPool(F_m)

2.2多尺度空间注意力

为了获取更加全面的空间位置信息，本发明在传统的空间注意力模块的基础上，引入语义分割中的多尺度特征提取方法，提出了一种多尺度空间注意力模块。通过引入空洞卷积，设置不同的膨胀率，增大感受野，从而获取多尺度下的更加全面的空间特征信息。多尺度空间注意力模块是由2个标准卷积和3个空洞卷积组成，如图4所示。

具体通过输入的特征图F∈R^H×W×C，经过1×1的标准卷积压缩通道维数并提出特征图细节信息，然后利用3个3×3的空洞卷积层来提取不同尺度的空间信息，再经过1×1的标准卷积生成1维的空间特征图R^H×W×1，最后经过Sigmoid函数生成空间注意力权重M_s(F)，

M_s(F)＝σ(f(i)^1×1(f(i)^3×3(f(i)^3×3(f(i)^3×3(f(i)^1×1(F)))))) (4)

其中M_s(F)表示空间注意力权重，σ表示Sigmoid函数，f(i)表示卷积运算，r表示空洞卷积的膨胀率，k表示感受野大小，当r＝1时，空洞卷积就是标准卷积，当r＞1时，空洞卷积是在标准卷积的卷积核中每两个相邻权重之间插入r-1个0，此时感受野的大小为(k-1)×r+1，这样就可以通过增大感受野来获取图像不同尺度特征的空间信息。

3、采用模型迁移的学习方式

迁移学习是利用不同任务的相关性，将在源领域学到的知识应用于目标领域的新问题或系统，从而获取更快更好的学习效果。大量实验表明，迁移学习在小样本或者数据量不足的情况下能够获得比较好的训练结果，并且能够有效提升模型的性能。迁移学习可分为实例迁移、特征迁移、关系迁移和模型迁移。结合元器件图片收集困难、数据规模小等实际情况，本发明中采用模型迁移的学习方式，即通过保存训练好的卷积神经网络模型再加上全连接层、分类器就形成新的网络模型。

具体通过将Xception在ImageNet数据集上预训练的模型参数直接迁移到本专利的多尺度注意力机制模型，在原有参数的基础上，经过多尺度注意力模块在不同尺度上为高层特征加权，这样可以在迭代次数较少的情况下取得不错的训练效果，同时提高模型的识别率和泛化性。迁移学习过程如图5所示。

实验1：考察不同注意力机制的识别结果

为了验证本专利方法的有效性，设计了通道注意力机制(SENet)、混合域注意力机制(CBAM)、高效通道注意力机制(ECANet)以及本文提出的多尺度注意力机制(MSAM)4种不同注意力机制的对比实验，主干网络为Xception，实验结果如下面关于不同注意力机制下的元器件识别结果表所示。

从表中可以看出，采用注意力机制的方法的模型识别率要高于原有模型的识别率，最高提升了1.31％，说明注意力机制能有效提取图片的关键信息，提高识别效果。在四种注意力机制中，本文提出的多尺度注意力机制的识别率高于其他三种典型的注意力机制，这是因为相比于全局通道注意力机制，多尺度注意力能关注更多的目标信息，从通道和空间两个角度为高层特征加权，从而提高模型的识别能力。

实验2：考察迁移学习的有效性

为了考察模型采用迁移学习方法后的有效性，这里选取Xception为主干网络，并选用Top1、Top5识别准确率和训练时间作为评价指标，分别考察在加载ImageNet预训练参数情况下，采取重新训练模型参数(True)、冻结模型参数(False)和对模型训练参数进行微调(Fine Tune)三种迁移学习方法的实验结果，如下面关于融合迁移学习的识别结果表所示。

从表中可以看出，采用微调方法的识别率要高于其他两种方法。由于需要从头开始训练，相对识别率较高，但是模型训练时间最长，而采用冻结网络全部权重方法，虽然模型训练时耗最短，具备了提取元器件显性特征的能力，但识别效果较差。采用微调的方法，一方面冻结底层模型参数保证了模型学习元器件底层特征，另一方面通过训练模型最后深度可分离卷积模块又能够提取元器件的细节、纹理等高层特征，因此模型的Top1和Top5的准确率最高，而且训练时间相对较少，从而验证了迁移学习的方法能够有效提高模型的识别性能，而且能大大减少模型训练时间。

实验3：考察不同元器件的识别结果

为了进一步验证本专利方法的识别效果，本实验考察每个类别的元器件识别率的变化情况，实验结果如图6-图7所示。从这两个混淆矩阵可以看出，12种元器件都得到很好的识别效果，整个数据集上的平均识别率为93.34％，采用多尺度注意力机制后，每一种元器件的识别率都有所提高，整个数据库的平均识别率提高了2.11％，其中贴片电感的识别率提高幅度最大，从84％提高到94％，提高了10％。此外，由于在数据库中的元器件的数量不平衡，也造成了不同元器件识别率的差异，如数据量大的元器件识别率相对较高，如插件类的电阻、电容，而数据量小的元器件识别率相对较低，如贴片类的电感、电容、二极管等。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于，包括以下步骤：

S5、最后在决策分类层识别出对应的元器件种类。

2.根据权利要求1所述的基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于：所述Xception模型包括输入流、中间流和输出流部分，共包括14个模块，且所述模块的结构包括若干个深度可分离卷积和最大池化层。

3.根据权利要求2所述的基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于：除了前后两个所述模块外，其他所述模块采用残差连接。

4.根据权利要求1所述的基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于：所述注意力模块包括通道注意力模块和空间注意力模块。

5.根据权利要求4所述的基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于：所述通道注意力模块通过设输入特征图F，首先在类似金字塔池化层中，进行不同尺度的最大池化操作F_m，池化的尺寸分别为1×1×C、2×2×C、3×3×C、4×4×C；为了进一步提取图片的高层特征，将最大池化后的特征图分别进行全局均值池化F_n，然后将得到的4个特征相加，并输入多层感知机，最后经过Sigmoid函数生成通道注意力权重M_C(F)，公式表示为：

F_m＝MaxPool(F)，m∈{1，2，3，4}

F_n＝AvgPool(F_m)

6.根据权利要求4所述的基于多尺度注意力机制的电子元器件深度迁移识别方法，其特征在于：所述多尺度空间注意力模块包括2个标准卷积和3个空洞卷积，通过输入的特征图F∈R^H×W×C，经过1×1的标准卷积压缩通道维数并提出特征图细节信息，然后利用3个3×3的空洞卷积层来提取不同尺度的空间信息，设置不同的膨胀率，增大感受野，再经过1×1的标准卷积生成1维的空间特征图R^H×W×1，最后经过Sigmoid函数生成空间注意力权重M_s(F)，

M_s(F)＝σ(f(i)^1×1(f(i)^3×3(f(i)^3×3(f(i)^3×3f(i)^1×1(F))))))