CN115761732A - 一种三阶段金丝键合缺陷检测方法 - Google Patents

Abstract

一种三阶段金丝键合缺陷检测方法，其特征是，包括三个阶段，如下：(1)芯片及关键连接区域分割：使用DeepLabV3+模型完成芯片及关键连接区域的语义分割；(2)感兴趣区域提取：根据键合线连接对象不同和背景复杂程度，将金丝键合图片分为4类，基于阶段1提取的位置信息，进一步设计相应的图像处理算法完成感兴趣区域提取；(3)缺陷判别：基于所提取的感兴趣区域，使用图像处理算法和所提出了一个全新的基于孪生网络架构的分类网络完成缺陷判别。因此，本发明是将深度学习方法与传统数字图像处理方法相融合的三阶段缺陷检测方法，完成微波组件金丝键合工艺中的缺丝和翘丝缺陷检测。

Description

一种三阶段金丝键合缺陷检测方法

技术领域

本发明涉及微波组件微组装过程中金丝键合工艺的缺陷检测，是针对复杂实际工程任务的一种基于深度学习与传统图像处理相融合的三阶段金丝键合缺陷检测方法。

背景技术

微波组件作为通信和雷达设备的核心部件，直接影响到整个设备的性能指标、工作效率和制造成本。参照图1、图2，金丝键合是一种使用金丝线，利用热、压力、超声波能量使金属引线与两端组件紧密焊合，实现组件之间的电气互连。金丝键合图片组成部分参照图1。金丝键合工艺广泛应用于微波组件的制造中。芯片与芯片、芯片与微带线、微带线与微带线、接插件与微带线之间经常采用键合金丝的方式进行电气连接。金丝键合的质量直接决定微波多芯片组件的可靠性、稳定性及电性能。

微波组件的微组装过程具有精密、微小、装配复杂等特点。在实际工业生产过程中，1)微波组件种类繁多，背景复杂，键合区域形态各异，图片中的感兴趣区域和特征提取困难。2)图像采集设备的景深有限，导致部分物体模糊，同时，在实际的金丝键合过程中，允许金丝存在一定形变，这导致图片中的金丝线存在变形和不连续，进一步增加了检测的难度。3)难以收集高质量的缺陷图像数据集，在实际检测中，图像数据量巨大，需要大量的人力来筛选标注的照片，而且由于缺陷位置不确定，很难对缺陷进行分组。目前工业生产中依靠AOI进行检测，但误检率很高，需要人工复检，费时费力。设计高效可行的机器视觉方法对焊线缺陷进行自动诊断有重要意义。

机器视觉检测系统通过适当的光源和图像传感器获取产品的表面图像，利用相应的图像处理算法提取图像的特征信息。然后，根据特征信息进行缺陷的定位、识别等。近年来，机器视觉技术越来越多的应用到工业产品的缺陷检测中，如布匹瑕疵检测、PCB缺陷检测、钢材表面缺陷检测等。传统基于机器视觉的表面缺陷检测方法,往往采用常规图像处理算法或人工设计特征加分类器方式，其通过分析纹理特性、几何特性、颜色特性等，提取图像特征，识别缺陷，从而区分缺陷产品图像和正常产品图像。近年来，随着深度学习技术的发展，其开始越来越多的应用到工业缺陷检测中。深度学习方法可以从图像中提取出丰富的高层语义特征，用于缺陷的判别。其中应用最广泛的方法包括利用先进的分类网络，如VGG，ResNet，DenseNet，MobileNet等，进行缺陷分类或特征提取；利用单阶段或两阶段检测网络，如SSD,YOLO，Faster R_CNN等，进行缺陷分类及定位；利用语义分割网络，如FCN，U-Net等，进行缺陷位置的像素级分割；其他还包括度量学习、半监督和无监督方法等。

然而，基于传统数字图像处理方法，需要一定的专家知识，且设计的方案缺乏通用性，无法适应真实应用中存在的大量型号的组件。基于深度学习的方法，对于图片数据集样本数量的大小、图片的质量、检测的难易程度，均有一定的要求，无法端到端地应用到高度复杂的工业场景中。

发明内容

针对金丝键合工艺中出现频率较高的缺丝和翘丝缺陷，本发明融合深度学习方法和传统数字图像处理方法，提出了一种三阶段的金丝键合缺陷检测方法。

技术方案

一种三阶段金丝键合缺陷检测方法，其特征是，包括三个阶段，如下：

(1)芯片及关键连接区域分割：使用DeepLabV3+模型完成芯片及关键连接区域的语义分割。

(2)感兴趣区域提取：根据键合线连接对象不同和背景复杂程度，将金丝键合图片分为4类，基于阶段1提取的位置信息，进一步设计相应的图像处理算法完成感兴趣区域提取；

(3)缺陷判别：基于所提取的感兴趣区域，使用图像处理算法和所提出了一个全新的基于孪生网络架构的分类网络完成缺陷判别。

所述的检测方法，其特征是，阶段1：芯片及关键连接区域分割

利用语义分割模型DeepLabV3+，定位出图片中芯片区域及关键连接区域，包括:

设计损失函数

使用逐像素交叉熵损失函数作为模型训练的目标函数，

其中，y是每个像素的真实标签，p是每个像素的预测输出，n为图片中的像素个数；

设计超参数

所述的检测方法，其特征是，优化器采用Adam，学习率设置为5e-4，批量大小为8，模型参数经过PASCAL VOC 2012数据集预训练。

所述的检测方法，其特征是，阶段2:感兴趣区域提取

首先，根据键合线两端连接对象的不同和背景的复杂程度，将金丝键合图片划分为4类，包括，类型1：芯片连接到基板；类型2：芯片连接到芯片和芯片连接到基板；类型3：芯片连接到各种组件；类型4：基板连接到各种组件；

接下来，基于阶段1提取的分割区域的位置信息，分别设计不同的图像处理方法完成图片中焊点、键合线这些感兴趣区域的提取。

所述的检测方法，其特征是，类型1：芯片连接到基板

对于类型1的图片，通过以下步骤用于对基板焊点区域的提取：①根据阶段1得到的芯片区域和关键连接区域，经过形态学腐蚀后，对腐蚀后的区域选取其最小外接矩形区域；②对整个图像应用Canny算子获取边缘；③将②中获得的边缘区域与①中获得的最小外接矩形区域相减，去除芯片边缘区域，接下来应用形态学膨胀、孔洞填充、形态学腐蚀和连接域分割，得到区域,最后根据面积大小过滤出基板上的焊点区域；

对于芯片内部焊点区域的提取，通过以下步骤用于：将①中得到的芯片的最小外接矩形区域与根据焊点尺寸缩小后的区域相减，得到芯片边缘含有焊点的环形区域，通过阈值分割、腐蚀、膨胀、连接域分割和邻近区域合并，得到焊点区域；基板焊点区域和芯片内部焊点区域将被用于阶段3的缺陷判别。

所述的检测方法，其特征是，类型2：芯片连接到芯片和芯片连接到基板

对于类型2的图片，通过以下步骤用于对于键合线区域的提取：①与类型1步骤①相同，得到最小外接矩形区域；②提取整个图像中的线条，分别得到暗线区域和亮线区域，暗线区域，然后对亮线区域做膨胀处理；③通过将暗线区域减去亮线膨胀后的区域以及最小外接矩形区域，分离出包含键合线的暗线区域，接下来应用形态学膨胀、连接域分割和区域过滤，得到键合线区域；

通过以下步骤用于对芯片内部焊点区域的提取：与类型1相同，得到芯片边缘含有焊点的环形区域，直接使用阈值分割得到芯片内部焊点区域；

键合线区域，芯片内部焊点区域以及①中得到的关键连接区域的最小外接矩形区域将被用于阶段3的缺陷判别。

所述的检测方法，其特征是，类型3：芯片连接到各种组件

对于类型3的图片，通过以下步骤用于直接提取完整键合区域，包括完整键合区域包括键合线及其两端焊点区域：①与类型1步骤①相同，得到最小外接矩形区域；②对步骤①得到的芯片的最小外接矩形区域应用阈值分割，其灰度直方图包含两个峰值，芯片区域的灰度集中在第二个峰值上，计算出第二个峰值灰度h，用灰度值[h-10,h+10]对图像进行分割，得到芯片最小外接矩形区域；③根据②中获得的最小外接矩形区域，通过收缩和相减操作获得内外两个环形区域，接下来经过自适应阈值分割、区域过滤得到两个环形区域上的键合线位置，最后根据内外两个区域中心点的直线距离最近原则匹配同一键合线上的区域，得到键合线的方向，进一步向外延伸得到完整键合区域；

③中所述完整键合区域和①中得到的关键连接区域的最小外接矩形区域将被用于阶段3的缺陷判别。

所述的检测方法，其特征是，类型4：基板连接到各种组件

对于类型4的图片，通过以下步骤用于直接提取完整键合区域:

①与类型1步骤②，③一样，通过边缘检测、形态学膨胀、孔洞填充、形态学腐蚀、连接域分割、区域过滤获得基板焊点区域；

②对基板焊点区域应用阈值分割，获得焊点区域内的键合线位置和方向,并进一步向外延伸得到完整键合区域；

完整键合区域将被用于阶段3的缺陷判别。

所述的检测方法，其特征是，阶段3：缺陷判别

1)对于芯片内部焊点的缺陷判别，首先采用阈值分割算法分割出区域中的焊点，然后将测试图片的焊点面积与模板图片的焊点面积进行对比，若面积差超过模板焊点面积的50％，则判定为缺陷；

2)对于基板焊点，键合线等的缺陷判别，设计了孪生网络模型。

所述的检测方法，其特征是，所述孪生网络模型是一种相似性度量方法，其接收两个输入样本，通过一对结构相同、权值共享的骨干结构(为特征提取网络)将其嵌入高维度的特征空间进行表征，接下来，通过高维特征向量的差异评估两个样本的相似程度。将图片成对的输入，其中正常样本被视为模板图片比较与测试图片的相似度用于判断是否存在缺陷。

所述的检测方法，其特征是，所设计的基于孪生网络的缺陷判别模型由三部分组成：特征提取网络、特征融合网络和预测网络。

所述的检测方法，其特征是，特征提取网络：

特征提取网络使用ResNet18的修改版本进行特征提取，移除了ResNet18的conv5层，将conv4层的输出作为特征提取网络的输出，

C＝256，f_z是模板图片经过特征提取网络的输出特征，f_x是测试图片经过特征提取网络的输出特征，H₀,W₀为输入图片的高与宽。

所述的检测方法，其特征是，特征融合网络：设计了一个带有两分支的特征融合网络，分别为差异融合模块和自注意力融合模块，差异融合模块获得模板图片和测试图片之间的差异特征，自注意力融合模块获得模板图片和测试图片的全局交互特征。

所述的检测方法，其特征是，在差异融合模块中，首先，将特征提取网络的输出f_z和f_x，经过通道注意力ECA-BLOCK，通道注意力为各通道特征赋予不同的权重，有选择性地增强显著性特征，使获得的特征图具有更多的有效信息，得到输出特征f_zs1和f_xs1。f_zs1和f_xs1经过3×3卷积进一步提取特征，同时通道数保持不变，获得f_zs2和f_xs2。接下来，将f_zs2和f_xs2展平为一维特征向量，相减后取绝对值得到f_s。相减操作捕捉测试图像与模板图片之间的差异信息。最后，f_s经过两个全连接层获得预测结果p_s。差异融合模块中输入特征与输出特征的关系如下，

f_s＝|Conv(ECA(f_z))-Conv(ECA(f_x))|

p_s＝FC(FC(f_s))

其中，Conv()表示3×3卷积，ECA()表示ECA-BLOCK，FC()表示全连接层。

所述的检测方法，其特征是，在自注意力融合模块中，自注意力机制在每个步骤确定输入序列的哪些部分是重要的，有助于从输入序列中捕获全局信息。应用自注意力机制增强模板图片与测试图片之间的特征融合，以获得模板图像特征和测试图像特征全局信息交互后的高层特征，克服卷积运算固有的感受野狭窄的问题。

所述的检测方法，其特征是，由于自注意力机制的输入为特征向量序列，首先，在空间维度上展平f_z和f_x，得到特征f_za1和f_xa1。将特征f_za1和f_xa1拼接，得到自注意力SA-BLOCK的输入序列f_a，将f_a经过2次自注意力模块充分获取特征间的全局依赖关系。自注意力融合模块中输入特征与输出特征的关系如下，

f_sa＝SA(SA(f_a))

p_a＝FC(class-embedding)

其中，SA()表示SA-BLOCK，FC()表示全连接层。位置编码(PositionalEmbedding)和额外的可学习类别编码(class embedding)被添加到SA-BLOCK的输入中，位置编码用于表达特征在原图的位置信息，类别编码用于计算模块最后的输出p_a。

所述的检测方法，其特征是，预测网络：

预测网络将特征融合网络的两分支输出进行融合，得到最后的预测结果，

p＝βp_s+γp_a

其中，β,γ是可学习的参数。p为该模型最终输出的预测结果，为0/1，表示测试图像与模板图像是否为同一类别。

损失函数：在训练中使用二元交叉熵损失作为损失函数，

Loss_BCE＝-(ylog(p)+(1-y)log(1-p))

其中，y是每张图片的真实标签，p是每张图片的预测输出。

超参数：在特征融合网络中，SA-BLOCK中多头注意力(MHA)的头数设置为8。使用Adam对模型进行训练，学习速率设置为1e-4，批量大小为8。特征提取网络参数使用ImageNet数据集预训练的ResNet18初始化。

因此，本发明提出了一种将深度学习方法与传统数字图像处理方法相融合的三阶段缺陷检测方法，完成微波组件金丝键合工艺中的缺丝和翘丝缺陷检测。

附图说明

图1金丝键合工艺金属引线连接示意图

图2金丝键合图片各组成部分

图3三阶段金丝键合缺陷检测方法整体架构图

图4三阶段金丝键合缺陷检测方法详细架构图

图5语义分割模型输出结果

图6类型1图片的感兴趣区域提取过程

图7类型1图片的感兴趣区域提取结果

图8类型2图片的感兴趣区域提取过程

图9类型2图片的感兴趣区域提取结果

图10类型3和4图片的感兴趣区域提取过程

图11类型3图片的感兴趣区域提取结果

图12类型4图片的感兴趣区域提取结果

图13基于孪生网络架构的缺陷判别模型

图14 ResNet18网络模型结构图

图15自注意力模块(SA-BLOCK)

图16金丝键合缺陷检测结果

具体实施方式

针对微波组件金丝键合工艺中的缺丝和翘丝缺陷检测，本发明提出了一种深度学习方法与传统图像处理方法相融合的三阶段金丝键合缺陷检测方法。针对键合区域差异较大的挑战，根据键合区域特点，将金丝键合图片分为4类，依次采用语义分割和图像处理方法完成感兴趣区域的提取。针对复杂的真实数据集的挑战，提出了一种基于孪生网络架构的分类网络用于缺陷判别，并设计了新的特征融合网络。

由于金丝键合图片种类繁多，背景复杂，直接对整张图片进行缺陷检测难度过大，难以实现，所以本方法(参照图3)首先提取出金丝键合工艺所作用的感兴趣区域(如焊点、键合线)，再对感兴趣区域进行缺陷判别，通过分阶段的方法降低检测难度，完成检测任务。包括三个主要阶段如下：

(1)芯片及关键连接区域分割：使用DeepLabV3+模型完成芯片及关键连接区域的语义分割。

(2)感兴趣区域提取：根据键合线连接对象不同和背景复杂程度，将金丝键合图片分为4类，基于阶段1提取的位置信息，进一步设计相应的图像处理算法(创新点之一)完成感兴趣区域提取。

(3)缺陷判别：基于所提取的感兴趣区域，使用图像处理算法和所提出了一个全新的基于孪生网络架构的分类网络(创新点之二：核心创新)完成缺陷判别。

所提出上述方法的详细架构如图4所示。由于保密的需要，图片中的部分区域已进行模糊处理。

阶段1：芯片及关键连接区域分割

利用语义分割模型DeepLabV3+，定位出图片中芯片区域及关键连接区域。在使用DeepLabV3+过程中，需要选定数据集，定义损失函数，确定超参数。同时，根据实际应用中对模型参数量和检测速度的要求，使用轻量化的Moblienetv2作为DeepLabV3+的骨干网络。

1)数据集

数据集共包括458张图片，其中412张为训练图片，46张为测试图片，类别共包括两类，分别为芯片区域和关键连接区域,将初始图片统一调整为512×512像素。

2)损失函数

使用逐像素交叉熵损失函数作为模型训练的目标函数，

其中，y是每个像素的真实标签，p是每个像素的预测输出，n为图片中的像素个数。

3)超参数

优化器采用Adam，学习率设置为5e-4，批量大小为8，模型参数经过PASCAL VOC2012数据集预训练。

4)实验结果

参照表1、表2所示的实验结果，DeepLabv3+在分割精度评估标准MPA(每类正确分类的像素百分比的平均)和MIoU(每一类的并交比(IoU)的平均)以及模型参数量和推算时间上，均表现良好。金丝键合图片语义分割结果如图5所示。

表1语义分割模型实验结果

表2不同类别的IoU结果

阶段2:感兴趣区域提取

首先，根据键合线两端连接对象的不同和背景的复杂程度，将金丝键合图片划分为4类，包括，类型1：芯片连接到基板；类型2：芯片连接到芯片和芯片连接到基板；类型3：芯片连接到各种组件；类型4：基板连接到各种组件。接下来，基于阶段1提取的分割区域的位置信息，分别设计不同的图像处理方法完成图片中焊点、键合线等感兴趣区域的提取。在实际应用过程中，根据微波组件版图信息，从所设计的图像处理方法中选择一种，进行感兴趣区域的自动提取。

1)类型1：芯片连接到基板

对于类型1的图片，参照图6,通过以下步骤用于对基板焊点区域的提取：

①根据阶段1得到的芯片区域和关键连接区域，经过形态学腐蚀后，对腐蚀后的区域选取其最小外接矩形区域，见图7(b)。

②对整个图像应用Canny算子获取边缘,见图7(c)。

③将②中获得的边缘区域与①中获得的最小外接矩形区域相减，去除芯片边缘区域，见图7(d),接下来应用形态学膨胀、孔洞填充、形态学腐蚀和连接域分割，得到区域如图7(e),最后根据面积大小过滤出基板上的焊点区域，见图7(f)。

对于芯片内部焊点区域的提取，通过以下步骤用于：将①中得到的芯片的最小外接矩形区域与根据焊点尺寸(所采集到的图片中的焊点尺寸基本一致，取为50个像素)缩小后的区域相减，得到芯片边缘含有焊点的环形区域，见图7(g)，通过自适应阈值分割、腐蚀、膨胀、连接域分割和邻近区域合并，得到焊点区域，见图7(h)。

基板焊点区域和芯片内部焊点区域将被用于阶段3的缺陷判别。

2)类型2：芯片连接到芯片和芯片连接到基板

对于类型2的图片，参照图8，通过以下步骤用于对于键合线区域的提取：

①与类型1步骤①相同，得到最小外接矩形区域，见图9(b)。

②提取整个图像中的线条，分别得到暗线区域和亮线区域，暗线区域如图9(c)，然后对亮线区域做膨胀处理，见图9(d)。

③通过将暗线区域减去亮线膨胀后的区域以及最小外接矩形区域，分离出包含键合线的暗线区域，见图9(e)，接下来应用形态学膨胀、连接域分割和区域过滤，得到键合线区域，见图9(f)。

通过以下步骤用于对芯片内部焊点区域的提取：与类型1相同，得到芯片边缘含有焊点的环形区域，见图9(g)，由于其焊点更加明显,可以直接使用自适应阈值分割得到芯片内部焊点区域，见图9(h)。

键合线区域，芯片内部焊点区域以及①中得到的关键连接区域的最小外接矩形区域将被用于阶段3的缺陷判别。

3)类型3：芯片连接到各种组件

对于类型3的图片，参照图10，通过以下步骤用于直接提取完整键合区域(完整键合区域包括键合线及其两端焊点区域)：

①与类型1步骤①相同，得到最小外接矩形区域,见图11(b)。

②对步骤①得到的芯片的最小外接矩形区域应用阈值分割，由于其灰度直方图主要包含两个峰值，芯片区域的灰度集中在第二个峰值上，所以计算出第二个峰值灰度h，用灰度值[h-10,h+10]对图像进行分割，得到更为精确的芯片最小外接矩形区域。

③根据②中获得的最小外接矩形区域，通过收缩和相减操作获得内外两个环形区域(两个环形区域宽度为3个像素，间隔为4个像素),见图11(c)，接下来经过自适应阈值分割、区域过滤得到两个环形区域上的键合线位置，见图11(d),最后根据内外两个区域中心点的直线距离最近原则匹配同一键合线上的区域，得到键合线的方向，进一步向外延伸得到完整键合区域，见图11(e)。

③中所述完整键合区域和①中得到的关键连接区域的最小外接矩形区域如图11(f)将被用于阶段3的缺陷判别。

4)类型4：基板连接到各种组件

对于类型4的图片，参照图10，通过以下步骤用于直接提取完整键合区域:

①与类型1步骤②，③一样，通过边缘检测、形态学膨胀、孔洞填充、形态学腐蚀、连接域分割、区域过滤获得基板焊点区域,见图12(b)、图12(c)。

②对基板焊点区域应用阈值分割，获得焊点区域内的键合线位置和方向,见图12(d)，并进一步向外延伸得到完整键合区域，见图12(e)。

完整键合区域将被用于阶段3的缺陷判别。

阶段3：缺陷判别

基于阶段2提取到的感兴趣区域，由于其中的芯片内部焊点区域图片仅包含浅色背景和黑色焊点，其缺陷判别较为简单，可以直接设计图像处理方法得到检测结果。除芯片内部焊点外的其他感兴趣区域如基板焊点，键合线等种类多变，形态各异，参照图13，输入到所提出的基于孪生网络架构的分类网络，得到缺陷判别结果。

1)对于芯片内部焊点的缺陷判别，首先采用自适应阈值分割算法分割出区域中的焊点，然后将测试图片的焊点面积与模板图片的焊点面积进行对比，若面积差超过模板焊点面积的50％，则判定为缺陷。

2)对于基板焊点，键合线等的缺陷判别，设计了全新的基于孪生网络框架的缺陷判别模型。孪生网络模型是一种相似性度量方法，其接收两个输入样本(一为分类标签已知的样本、一为分类标签未知的样本)，通过一对结构相同、权值共享的骨干结构(特征提取网络)将其嵌入高维度的特征空间进行表征，接下来，通过比较高维特征向量的差异评估两个样本的相似程度。在实际检测场景中，可以获得微波组件中同一区域的正常样本和缺陷样本。为了提高检测精度，将图片成对的输入，其中正常样本被视为模板图片比较与测试图片的相似度判断其是否存在缺陷。所设计的基于孪生网络的缺陷判别模型由三部分组成：特征提取网络、特征融合网络和预测网络(见图13)。

①特征提取网络

特征提取网络使用ResNet18的修改版本进行特征提取，参照图13、图14，移除了ResNet18的conv5层，将conv4层的输出作为特征提取网络的输出(

C＝256，f_z是模板图片经过特征提取网络的输出特征，f_x是测试图片经过特征提取网络的输出特征，H₀,W₀为输入图片的高与宽)。

②特征融合网络

设计了一个带有两分支的特征融合网络，分别为差异融合模块和自注意力融合模块，差异融合模块获得模板图片和测试图片之间的差异特征，自注意力融合模块获得模板图片和测试图片的全局交互特征。

在差异融合模块中，参照图13，首先，将特征提取网络的输出f_z和f_x，经过通道注意力ECA-BLOCK，通道注意力为各通道特征赋予不同的权重，有选择性地增强显著性特征，使获得的特征图具有更多的有效信息，得到输出特征f_zs1和f_xs1。f_zs1和f_xs1经过3×3卷积进一步提取特征，同时通道数保持不变，获得f_zs2和f_xs2。接下来，将f_zs2和f_xs2展平为一维特征向量，相减后取绝对值得到fs。相减操作可以捕捉测试图像与模板图片之间的差异信息。最后，f_s经过两个全连接层获得预测结果p_s。差异融合模块中输入特征与输出特征的关系如下，

f_s＝|Conv(ECA(f_z))-Conv(ECA(f_x))|

p_s＝FC(FC(f_s))

其中，Conv()表示3×3卷积，ECA()表示ECA-BLOCK，FC()表示全连接层。

在自注意力融合模块中，自注意力机制在每个步骤确定输入序列的哪些部分是重要的，有助于从输入序列中捕获全局信息。应用自注意力机制可以增强模板图片与测试图片之间的特征融合，以获得模板图像特征和测试图像特征全局信息交互后的高层特征，克服卷积运算固有的感受野狭窄的问题。由于自注意力机制的输入为特征向量序列，参照图13、图15，首先，在空间维度上展平f_z和f_x，得到特征f_za1和f_xa1。将特征f_za1和f_xa1拼接，得到自注意力SA-BLOCK的输入序列f_a，将f_a经过2次自注意力模块充分获取特征间的全局依赖关系。自注意力融合模块中输入特征与输出特征的关系如下，

f_sa＝SA(SA(f_a))

p_a＝FC(class-embedding)

其中，SA()表示SA-BLOCK，FC()表示全连接层。位置编码(PositionalEmbedding)和额外的可学习类别编码(class embedding)被添加到SA-BLOCK的输入中，位置编码用于表达特征在原图的位置信息，类别编码用于计算模块最后的输出p_a。

③预测网络

预测网络将特征融合网络的两分支输出进行融合，得到最后的预测结果，p＝βp_s+γp_a

其中，β,γ是可学习的参数。p为该模型最终输出的预测结果，为0/1，表示测试图像与模板图像是否为同一类别。

数据集：数据集共包括339对图片(每一对图片包含一张测试图片和一张与之对应的模板图片)，其中259对用作训练，80对用作测试，预测结果为二分类，即正常，缺陷。将初始图片统一调整为96×96像素。

损失函数：在训练中使用二元交叉熵损失作为损失函数，

Loss_BCE＝-(y log(p)+(1-y)log(1-p))

其中，y是每张图片的真实标签，p是每张图片的预测输出。

超参数：在特征融合网络中，SA-BLOCK中多头注意力(MHA)的头数设置为8。使用Adam对模型进行训练，学习速率设置为1e-4，批量大小为8。特征提取网络参数使用ImageNet数据集预训练的ResNet18初始化。

实验结果：本发明将所提出的模型与广泛流行的分类网络(VGG16、Res50、Moblienetv2)和基础的孪生网络进行性能对比。基于表3的实验结果，在金丝键合缺陷判别任务中，本发明提出的模型相较于直接使用分类模型和基础孪生网络获得了最高的准确度，验证了所设计的孪生网络结构和特征融合网络的有效性。孪生网络结构适应本发明中金丝键合缺陷检测场景，将模板图片与测试图片成对进行训练，可以减少对数据集的依赖，同时有效捕捉图像中的缺陷特征。在两分支的特征融合网络中，差异融合模块可以捕捉图片之间的差异信息，自注意力融合模块可以使图片获得全局的交互信息，提高模型区分缺陷图片的能力。

表3缺陷判别模型实验结果

金丝键合缺陷检测结果如图16所示，本发明所提供的方法在4类金丝键合图片中均识别出了缺丝和翘丝缺陷。

Claims (10)

1.一种三阶段金丝键合缺陷检测方法，其特征是，包括三个阶段，如下：

(1)芯片及关键连接区域分割：使用DeepLabV3+模型完成芯片及关键连接区域的语义分割；

(2)感兴趣区域提取：根据键合线连接对象不同和背景复杂程度，将金丝键合图片分为4类，基于阶段1提取的位置信息，进一步设计相应的图像处理算法完成感兴趣区域提取；

(3)缺陷判别：基于所提取的感兴趣区域，使用图像处理算法和所提出了一个全新的基于孪生网络架构的分类网络完成缺陷判别。

2.如权利要求1所述的检测方法，其特征是，

阶段2:感兴趣区域提取

首先，根据键合线两端连接对象的不同和背景的复杂程度，将金丝键合图片划分为4类，包括，

类型1：芯片连接到基板；

类型2：芯片连接到芯片和芯片连接到基板；

类型3：芯片连接到各种组件；

类型4：基板连接到各种组件；

接下来，基于阶段1提取的分割区域的位置信息，分别设计不同的图像处理方法完成图片中焊点、键合线这些感兴趣区域的提取。

3.如权利要求1所述的检测方法，其特征是，

阶段3：缺陷判别

1)对于芯片内部焊点的缺陷判别，首先采用阈值分割算法分割出区域中的焊点，然后将测试图片的焊点面积与模板图片的焊点面积进行对比，若面积差超过模板焊点面积的50％，则判定为缺陷；

2)对于基板焊点，键合线等的缺陷判别，设计了孪生网络模型。

4.如权利要求1所述的检测方法，其特征是，所设计的基于孪生网络的缺陷判别模型由三部分组成：特征提取网络、特征融合网络和预测网络。

5.如权利要求4所述的检测方法，其特征是，特征提取网络：

特征提取网络使用ResNet18的修改版本进行特征提取，移除了ResNet18的conv5层，将conv4层的输出作为特征提取网络的输出，

H_z，W_z＝H_x，

C＝256，f_z是模板图片经过特征提取网络的输出特征，f_x是测试图片经过特征提取网络的输出特征，H₀，W₀为输入图片的高与宽。

6.如权利要求4所述的检测方法，其特征是，特征融合网络：设计了一个带有两分支的特征融合网络，分别为差异融合模块和自注意力融合模块，差异融合模块获得模板图片和测试图片之间的差异特征，自注意力融合模块获得模板图片和测试图片的全局交互特征。

7.如权利要求6所述的检测方法，其特征是，在差异融合模块中，首先，将特征提取网络的输出f_z和f_x，经过通道注意力ECA-BLOCK，通道注意力为各通道特征赋予不同的权重，有选择性地增强显著性特征，使获得的特征图具有更多的有效信息，得到输出特征f_zs1和f_xs1；f_zs1和f_xs1经过3×3卷积进一步提取特征，同时通道数保持不变，获得f_zs2和f_xs2；接下来，将f_zs2和f_xs2展平为一维特征向量，相减后取绝对值得到f_s；相减操作捕捉测试图像与模板图片之间的差异信息；最后，f_s经过两个全连接层获得预测结果p_s；差异融合模块中输入特征与输出特征的关系如下，

f_s＝|Conv(ECA(f_z))-Conv(ECA(f_x))|

p_s＝FC(FC(f_s))

其中，Conv()表示3×3卷积，ECA()表示ECA-BLOCK，FC()表示全连接层。

8.如权利要求4所述的检测方法，其特征是，在自注意力融合模块中，自注意力机制在每个步骤确定输入序列的哪些部分是重要的，有助于从输入序列中捕获全局信息；应用自注意力机制增强模板图片与测试图片之间的特征融合，以获得模板图像特征和测试图像特征全局信息交互后的高层特征，克服卷积运算固有的感受野狭窄的问题。

9.如权利要求4所述的检测方法，其特征是，由于自注意力机制的输入为特征向量序列，首先，在空间维度上展平f_z和f_x，得到特征f_za1和f_xa1；将特征f_za1和f_xa1拼接，得到自注意力SA-BLOCK的输入序列f_a，将f_a经过2次自注意力模块充分获取特征间的全局依赖关系；自注意力融合模块中输入特征与输出特征的关系如下，

f_sa＝SA(SA(f_a))

p_a＝FC(class-embedding)

其中，SA()表示SA-BLOCK，FC()表示全连接层；位置编码(Positional Embedding)和额外的可学习类别编码(class embedding)被添加到SA-BLOCK的输入中，位置编码用于表达特征在原图的位置信息，类别编码用于计算模块最后的输出p_a。

10.如权利要求4所述的检测方法，其特征是，预测网络：

预测网络将特征融合网络的两分支输出进行融合，得到最后的预测结果，

p＝βp_s+γp_a

其中，β，γ是可学习的参数；p为该模型最终输出的预测结果，为0/1，表示测试图像与模板图像是否为同一类别；

损失函数：在训练中使用二元交叉熵损失作为损失函数，

Loss_BCE＝-(ylog(p)+(1-y)log(1-p))

其中，y是每张图片的真实标签，p是每张图片的预测输出；

超参数：在特征融合网络中，SA-BLOCK中多头注意力(MHA)的头数设置为8；使用Adam对模型进行训练，学习速率设置为1e-4，批量大小为8；特征提取网络参数使用ImageNet数据集预训练的ResNet18初始化。

Images