CN112580568B - 基于高斯核均值局部线性嵌入的芯片缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于高斯核均值局限线性嵌入的芯片缺陷检测方法，涉及芯片缺陷检测领域，该方法包括：制备测试样本；获取各个测试样本的振动信号并设定极限学习机模型各层的参数；通过无监督的自编码器对振动信号进行特征提取得到高维特征量，并通过快速迭代收缩阈值算法得到极限学习机模型的隐含层的输出权重；通过局部线性嵌入方法对高维特征量进行特征降维；通过对降维后的特征量进行分类，并构建芯片检测模型；在检测倒装焊芯片的工作过程中，采集倒装焊芯片的振动信号并输入到芯片检测模型中识别芯片缺陷类型，降低了自编码器所提取的特征的维度，进一步提高分类的准确率，使得芯片的缺陷能够快速被识别。

Description

基于高斯核均值局部线性嵌入的芯片缺陷检测方法

技术领域

本发明涉及芯片缺陷检测领域，尤其是一种基于高斯核均值局部线性嵌入的芯片缺陷检测方法。

背景技术

随着倒装焊芯片技术的发展，倒装焊芯片已经广泛的应用在各个行业中，由此各个行业也对于倒装焊芯片的质量控制以及产品的可靠性有着更高的要求，因此对于倒装焊芯片内部缺陷的检测显得十分重要。目前，倒装焊芯片的无损检测方法主要包括X射线检测和主动红外检测等方法。

X射线检测包括直接入射X射线检测和X射线分层成像检测，入射X射线检测技术可以用来确定焊料凸点的内部特性，但不能区分垂直重叠特性；X射线分层成像检测技术可以确定垂直重叠的特征，但由于重建切片图像所需时间较长，效率相对较低。主动红外检测技术通过测量倒装焊芯片表面温度的变化来确定倒装焊芯片是否包含缺陷，但由于目前焊球芯片焊垫的尺寸越来越小，红外热像仪的分辨率不能满足检测要求，限制了其在芯片缺陷检测中的应用。

发明内容

本发明人针对上述问题及技术需求，提出了一种基于高斯核均值局部线性嵌入的芯片缺陷检测方法，本发明的技术方案如下：

一种基于高斯核均值局部线性嵌入的芯片缺陷检测方法，所述方法包括以下步骤：

制备正常的倒装焊芯片和有缺陷的倒装焊芯片作为训练样本；

获取各个训练样本的振动信号并根据每个训练样本的振动信号数量设定极限学习机模型各层的参数，所述极限学习机模型包括输入层、隐含层和输出层，所述极限学习机模型各层的参数包括各层的节点数、隐含层的权重以及隐含层的偏置；

通过无监督的自编码器对各个训练样本的振动信号进行特征提取得到高维特征量，并基于求得的高维特征量通过快速迭代收缩阈值算法得到所述极限学习机模型的隐含层的输出权重集，得到训练后的极限学习机模型；

利用高斯核均值距离得到近邻集合并通过局部线性嵌入方法对所述高维特征量进行特征降维；

通过所述训练后的极限学习机模型的输出层获取降维后的特征量并进行分类，构建得到芯片检测模型；

在待检测倒装焊芯片的工作过程中，采集所述待检测倒装焊芯片的振动信号并输入到所述芯片检测模型中得到芯片缺陷检测结果，所述芯片缺陷检测结果用于指示所述待检测倒装焊芯片正常或存在缺陷。

其进一步的技术方案为，所述设定极限学习机模型各层的参数，包括：

确定所述输入层的节点数与每个训练样本的振动信号数量相同，并随机生成隐含层和输出层的节点数，且输入层的节点数、隐含层的节点数和输出层的节点数依次减小；

随机生成所述隐含层的权重和偏置。

其进一步的技术方案为，所述通过无监督的自编码器对振动信号进行特征提取得到高维特征量，包括：

所述高维特征量的计算公式为：

H＝g(a·X+b)；

g()表示激活函数，a为隐含层的权重，b为隐含层的偏置，X表示振动信号；所述激活函数表达式为：

其进一步的技术方案为，所述通过快速迭代收缩阈值算法得到所述极限学习机模型的隐含层的输出权重集，包括基于公式进行求解：

定义X表示振动信号，H表示高维特征量，β是隐含层的输出权重集，/>表示使β稀疏以获得更加紧凑特征的范数，则将求解公式转换为求解/>

对于任意两个隐含层的输出权重β_x和β_y计算得到满足下列不等式的光滑凸函数的Lipschitz常数γ，计算公式为：

其中，表示求梯度；

通过公式β_w＝s_r(y_w)进行迭代计算获取α个值组成隐含层输出权重集，w≤α；

对于隐含层的输出权重集中的任意一个β_w计算公式为：

其中t_w+1、y_w+1为第w+1次迭代的参数，t_w为第w次迭代的参数，y₁＝β₀∈Rⁿ，t₁＝1作为初始值。

其进一步的技术方案为，所述利用高斯核均值距离得到近邻集合，包括：

计算所述高维特征量H＝{h₁,h₂,...,h_η}中每两个特征点集h_m、h_n之间的高斯核均值距离，η，m和n为参数，且m≤η，n≤η；

所述高斯核均值距离的计算公式为：

其中，D_mn(h_m,h_n)表示两个特征点集之间的高斯核距离，所述高斯核距离的表达式为：

M(m)表示特征点集h_m与所述高维特征量中其他特征点集中的每个特征点集的平均距离，M(n)表示特征点集h_n与所述高维特征量中其他特征点集中的每个特征点集的平均距离，σ表示带宽；

其中，h_P表示高维特征量中的一个特征点集，且P≠m，P≠n，D_mP(h_m,h_P)表示特征点集h_m和特征点集h_P之间的高斯核距离，D_nP(h_n,h_P)表示特征点集h_n和特征点集h_P之间的高斯核距离；

选择高斯核均值距离最近的K个特征点集的组成近邻集合KNN，其中K为预设参数，K≤η。

其进一步的技术方案为，所述通过局部线性嵌入方法对所述高维特征量进行特征降维，包括：

对所述高维特征量中的每个特征点集h_u，求解得到一个损失最小化的K维的权重向量矩阵W_uj，其中K为预设参数，K≤η，P_j为近邻集合KNN中的一个特征点集；

将所述权重向量矩阵扩展成稀疏矩阵得到对称矩阵M，将所有高维特征量中的特征点集投影映射到低维空间中得到对应的低维特征量Y中的低维点集，求解其中，y_u为特征点集h_u对应得到的低维点集，U_j为特征点集P_j对应得到的低维点集，得到稀疏矩阵M的d个最小特征值，根据d个最小特征值得到低维特征量Y中的d个低维点集，所述d个低维点集对应降维后的特征量。

其进一步的技术方案为，所述将所述权重向量矩阵扩展成稀疏矩阵并定义对称矩阵M，包括：

当一个特征点集P_j是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj保持不变，当一个特征点集P_j不是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj的值定为0，所述对称矩阵的表达式为：

M＝(μ-W_η×η)^T(μ-W_η×η)；

其中，W_η×η表示稀疏矩阵，μ表示低维空间中的单位矩阵。

其进一步的技术方案为，所述有缺陷的倒装焊芯片包括至少两种存在不同缺陷类型的芯片，则所述芯片缺陷检测结果还用于指示所述待倒装焊芯片所存在的缺陷类型。

其进一步的技术方案为，所述获取各个训练样本的振动信号，包括：

将各个检测样品固定在隔振台上，使用功率放大器将信号发生器所产生的扫描信号进行放大，传输到电容式空气耦合超声换能器产生超声波，所述超声波以预定入射角度传输到各个检测样品的表面；

使用激光扫描测振仪测量检测样品的振动，获取多个振动信号。

本发明的有益技术效果是：本发明通过局部线性嵌入的方法，降低了自编码器所提取的特征的维度，进一步提高分类的准确率，使得芯片的缺陷能够快速被识别。

附图说明

图1是本申请的方法流程图。

图2是本申请的振动信号的示意图。

图3是本申请的所获得的分类混淆矩阵示意图。

图4是本申请的与其他算法准确率的比较示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

一种基于高斯核均值局部线性嵌入的芯片缺陷检测方法，方法包括以下步骤：

步骤1：制备正常的倒装焊芯片和有缺陷的倒装焊芯片作为检测样品，检测样品包括五种状态，即正常的芯片、存在一个开焊点的芯片、存在两个开焊点的芯片、存在一个焊球缺失的芯片、存在两个焊球缺失的芯片。

制备工艺如下：使用菊花链倒装焊芯片作为检测样品的制造材料，每个倒装焊芯片的尺寸为10mm*10mm，每个芯片的外围有184个焊料凸点，焊球凸点由SnAg3Cu0.5合金制成，直径为120μm，两个相邻的焊球凸点的间距为200μm，焊球凸点的缺失是通过在MC001-YR2010图像测量仪下进行去除作业。

步骤2：获取各个检测样品的振动信号：

步骤2.1：将各个芯片固定在隔振台上，使用功率放大器将信号发生器所产生的扫描生涯信号进行放大，扫描生涯信号的频率为40-110kHz，然后传输到电容式空气耦合超声换能器以产生超声波，将超声波以预定入射角发射到芯片的表面上，通常预定入射角为45度，以此来充分激励各个检测样品。

步骤2.2：使用激光扫描测振仪测量芯片的振动信号，具体的实施例为：使用采用频率为1.28MHz的激光扫描测振仪，每个检测样品都进行25次测量，每次测量持续0.0128s，由此每个检测样品的数据被分为200个样本，每个样本包含2048个数据点，测得的五种振动信号如图2所示，这样上面五种状态芯片中每一种包括有409600个数据点。

步骤3：将200个样本分为训练样本和测试样本：分为50个贴标签的训练样本，100个不贴标签的训练样本，50个贴标签的测试样本，通过对150个训练样本部分贴标签，由此实现半监督学习，在实际生活中对样本的进行贴标签处理十分繁杂，本申请通过50个贴标签的训练样本，更好的模拟现实中的情况，同时通过100个不贴标签的训练样本进一步提高本申请方法的正确性，150个训练样本作为后续步骤中极限学习机模型的训练样本，50个测试样本用于验证本方法的正确性。

步骤4：设定本申请的极限学习机模型包括有一层输入层、三层隐含层和一层输出层，输入层的节点数和每个训练样本的振动信号数量相同，输入层的节点数为2048，并随机生成后续的每层的节点数，且输入层的节点数、隐含层的节点数和输出层的节点数依次减小，需要指出的是，本申请使用到三层隐含层，三层隐含层中的每层节点数不是必须依次减小，只需保证每层隐含层的节点数小于输入层且大于输出层，举出一个实施例，每层的节点数分别为2048、200、200、500、5；

随机生成隐含层的权重和偏置。

步骤5：通过无监督的自编码器对振动信号进行特征提取得到高维特征量，并通过快速迭代收缩阈值算法得到极限学习机模型的每层隐含层的输出权重集；

需要求得隐含层的输出权重集，通过公式进行求解，其中，X表示振动信号，H表示高维特征量，β是隐含层的输出权重集，/>表示使β稀疏以获得更加紧凑特征的范数；

进一步的，高维特征量计算公式为：H＝g(a·X+b)，g()表示激活函数，a为隐藏层的权重，b为隐藏层的偏置；

激活函数g()采用Sigmoid函数：

同时，通过快速迭代收缩阈值算法对输出权重集进行求解：

定义

即将上述的求解隐含层的输出权重集的公式改写成：

对于任意两个隐含层的输出权重β_x和β_y计算得到满足下列不等式的光滑凸函数的Lipschitz常数γ，计算公式为：

其中，表示求梯度；

以y₁＝β₀∈Rⁿ，t₁＝1作为初始点，y₁和β₀为初始迭代值，开始进行迭代计算，得到α个值组成的隐含层输出权重集，w≤α，具体步骤如下：

β_w＝s_r(β_w-1)，其中

其中，t_w+1、y_w+1为第w+1次迭代的参数，t_w为第w次迭代的参数。

步骤6：利用高斯核均值距离得到近邻集合；

计算高维特征量H＝{h₁,h₂,...,h_η}中每两个特征点集h_m、h_n之间的高斯核均值距离，η，m和n为参数，且m≤η，n≤η；

高斯核均值距离的计算公式为：

其中，D_mn(h_m,h_n)表示两个特征点集之间的高斯核距离，高斯核距离的表达式为：

M(m)表示特征点集h_m与高维特征量中其他特征点集中的每个特征点集的平均距离，M(n)表示特征点集h_n与高维特，征量中其他特征点集中的每个特征点集的平均距离，σ表示带宽，用于控制径向作用范围；

其中，h_P表示高维特征量中的一个特征点集，且P≠m，P≠n，D_mP(h_m,h_P)表示特征点集h_m和特征点集h_P之间的高斯核距离，D_nP(h_n,h_P)表示特征点集h_n和特征点集h_P之间的高斯核距离；

选择高斯核均值距离最近的K个特征点集的组成近邻集合KNN，其中K为预设参数，K≤η。

通过使用高斯核均值距离求解近邻集合，使得当特征点集分布在稀疏区域时，该点集与其他点即之间的距离变长，与其他点的平均距离也变长。因此，原始距离除以较大的分母即可得到新的距离。相反，当特征点集分布在密集区域时，该点集与其他点集之间的距离更短，与其他点集的平均距离也更短，这使得新距离相应增加，结果，均匀化距离使得采样点的整体分布趋于均匀。另外，两个特征点集之间的分布区域也相应地改变。稀疏区域中的新距离变短，而稀疏区域变小，而密集区域变大，通过高斯核均值距离，可以消除稀疏和稠密区域中样本点新距离的差异，即密度比。

同时，使用高斯核均值距离来求解近邻集合既可以尽可能的保持高维空间中特征点集的拓扑信息又可以使得特征点集的整体分布更加均匀，减少相邻点集的降维效果，更有利于后续的分类。

步骤7：使用局部线性嵌入方法对所提取的高维特征量进行特征降维；

步骤7.1：对每个特征点集h_u求取一个损失最小化的K维的权重向量矩阵W_uj，其中u≤η，j≤K，即求解其中/>u≤η，j≤K，P_j为近邻集合KNN中的一个特征点集；

将所有高维特征量数据映射到低维空间中，并得到最小损伤公式其中，y_u为特征点集h_u对应得到的低维点集，U_j为特征点集P_j对应得到的低维点集。

步骤7.2：为了更好的求得最小损伤公式，将u×j的权重向量矩阵扩展成η×η的稀疏矩阵W_η×η并得到对称矩阵M，

当一个特征点集P_j是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj值保持不变，当一个特征点集P_j不是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj的值定为0，对称矩阵的表达式为：

M＝(μ-W_η×η)^T(μ-W_η×η)；

其中，μ表示低维空间中的单位矩阵，得到更新后的最小损伤公式并对其求解得到稀疏矩阵M的d个最小特征值，根据d个最小特征值得到低维特征量Y中的d个低维点集，d个低维点集对应降维后的特征量，其中，W_η×η表示稀疏矩阵，获取d个损失最小的点集Y＝{y₁,y₁,...y_d}，对应降维后的特征量。

步骤8：通过极限学习机模型的输出层获取降维后的特征量，使用有监督的自编码器对降维后的特征量进行分类，并构建得到芯片检测模型；

在待检测倒装焊芯片的工作过程中，采集待检测倒装焊芯片的振动信号并输入到芯片检测模型中得到芯片缺陷检测结果，芯片缺陷检测结果用于指示待检测倒装焊芯片正常或存在缺陷。

将基于局部线性嵌入极限学习机的网络层数分为5层，分别为输入层、三个隐含层和输出层。每层的节点数设置为2048-200-200-500-5.结果证明所提出的基于局部线性嵌入极限学习机分类算法可以在4.32s内实现98.9％的分类准确率，所获得的分类混淆矩阵如图3所示。通过十组实验对比SS-ELM、DELM、SDELM和本文的算法(LLE-SDELM)的准确率，结果如图4所示。其中各类算法的平均准确率如表1所示。

表1 各类算法诊断结果

以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (9)

1.一种基于高斯核均值局部缺陷嵌入的芯片缺陷检测方法，其特征在于，所述方法包括以下步骤：

制备正常的倒装焊芯片和有缺陷的倒装焊芯片作为训练样本；

获取各个训练样本的振动信号并根据每个训练样本的振动信号数量设定极限学习机模型各层的参数，所述极限学习机模型包括输入层、隐含层和输出层，所述极限学习机模型各层的参数包括各层的节点数、隐含层的权重以及隐含层的偏置；

通过无监督的自编码器对各个训练样本的振动信号进行特征提取得到高维特征量，并基于求得的高维特征量通过快速迭代收缩阈值算法得到所述极限学习机模型的隐含层的输出权重集，得到训练后的极限学习机模型；

利用高斯核均值距离得到近邻集合并通过局部线性嵌入方法对所述高维特征量进行特征降维；

通过所述训练后的极限学习机模型的输出层获取降维后的特征量并进行分类，构建得到芯片检测模型；

在待检测倒装焊芯片的工作过程中，采集所述待检测倒装焊芯片的振动信号并输入到所述芯片检测模型中得到芯片缺陷检测结果，所述芯片缺陷检测结果用于指示所述待检测倒装焊芯片正常或存在缺陷。

2.根据权利要求1所述的一种方法，其特征在于，所述设定极限学习机模型各层的参数，包括：

确定所述输入层的节点数与每个训练样本的振动信号数量相同，并随机生成隐含层和输出层的节点数，且输入层的节点数、隐含层的节点数和输出层的节点数依次减小；

随机生成所述隐含层的权重和偏置。

3.根据权利要求1所述的一种方法，其特征在于，所述通过无监督的自编码器对振动信号进行特征提取得到高维特征量，包括：

所述高维特征量的计算公式为：

H＝g(a·X+b)；

g()表示激活函数，a为隐含层的权重，b为隐含层的偏置，X表示振动信号；

所述激活函数表达式为：

4.根据权利要求1所述的一种方法，其特征在于，所述通过快速迭代收缩阈值算法得到所述极限学习机模型的隐含层的输出权重集，包括基于公式进行求解：

定义X表示振动信号，H表示高维特征量，β是隐含层的输出权重集，/>表示使β稀疏以获得更加紧凑特征的范数，则将求解公式转换为求解/>

对于任意两个隐含层的输出权重β_x和β_y计算得到满足下列不等式的光滑凸函数的Lipschitz常数γ，计算公式为：

其中，表示求梯度；

通过公式β_w＝s_r(y_w)进行迭代计算获取α个值组成隐含层输出权重集，w≤α；

对于隐含层的输出权重集中的任意一个β_w计算公式为：

其中t_w+1、y_w+1为第w+1次迭代的参数，t_w为第w次迭代的参数，y₁＝β₀∈Rⁿ，t₁＝1作为初始值。

5.根据权利要求1所述的一种方法，其特征在于，所述利用高斯核均值距离得到近邻集合，包括：

计算所述高维特征量H＝{h₁,h₂,...,h_η}中每两个特征点集h_m、h_n之间的高斯核均值距离，η，m和n为参数，且m≤η，n≤η；

所述高斯核均值距离的计算公式为：

其中，D_mn(h_m,h_n)表示两个特征点集之间的高斯核距离，所述高斯核距离的表达式为：

M(m)表示特征点集h_m与所述高维特征量中其他特征点集中的每个特征点集的平均距离，M(n)表示特征点集h_n与所述高维特征量中其他特征点集中的每个特征点集的平均距离，σ表示带宽；

其中，h_P表示高维特征量中的一个特征点集，且P≠m，P≠n，D_mP(h_m,h_P)表示特征点集h_m和特征点集h_P之间的高斯核距离，D_nP(h_n,h_P)表示特征点集h_n和特征点集h_P之间的高斯核距离；

选择高斯核均值距离最近的K个特征点集的组成近邻集合KNN，其中K为预设参数，K≤η。

6.根据权利要求1所述的一种方法，其特征在于，所述通过局部线性嵌入方法对所述高维特征量进行特征降维，包括：

对所述高维特征量中的每个特征点集h_u，求解得到一个损失最小化的K维的权重向量矩阵W_uj，其中/>K为预设参数，K≤η，P_j为近邻集合KNN中的一个特征点集；

将所述权重向量矩阵扩展成稀疏矩阵得到对称矩阵M，将所有高维特征量中的特征点集投影映射到低维空间中得到对应的低维特征量Y中的低维点集，求解其中，y_u为特征点集h_u对应得到的低维点集，U_j为特征点集P_j对应得到的低维点集，得到稀疏矩阵M的d个最小特征值，根据d个最小特征值得到低维特征量Y中的d个低维点集，所述d个低维点集对应降维后的特征量。

7.根据权利要求6所述的一种方法，其特征在于，所述将所述权重向量矩阵扩展成稀疏矩阵并定义对称矩阵M，包括：

当一个特征点集P_j是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj保持不变，当一个特征点集P_j不是另一个特征点集h_u的近邻点时，则将稀疏矩阵W_η×η中W_uj的值定为0，所述对称矩阵的表达式为：

M＝(μ-W_η×η)^T(μ-W_η×η)；

其中，W_η×η表示稀疏矩阵，μ表示低维空间中的单位矩阵。

8.根据权利要求1所述的一种方法，其特征在于，所述有缺陷的倒装焊芯片包括至少两种存在不同缺陷类型的芯片，则所述芯片缺陷检测结果还用于指示所述待倒装焊芯片所存在的缺陷类型。

9.根据权利要求1所述的一种方法，其特征在于，所述获取各个训练样本的振动信号，包括：

将各个检测样品固定在隔振台上，使用功率放大器将信号发生器所产生的扫描信号进行放大，传输到电容式空气耦合超声换能器产生超声波，所述超声波以预定入射角度传输到各个检测样品的表面；

使用激光扫描测振仪测量检测样品的振动，获取多个振动信号。