CN116030039A - 一种结合深度学习的塑封芯片内部缺陷检测方法 - Google Patents

Abstract

本发明公开了一种结合深度学习的塑封芯片内部缺陷检测方法，属于芯片缺陷检测技术领域。本发明包括：S1：获取塑封芯片的超声波扫描图像，利用改进后的神经网络算法对图像进行芯片目标检测；S2：对获得的芯片图像进行传统图像算法分析，实现芯片缺陷的检测；所述的神经网络包含主干提取网络、改进后的特征融合网络和YOLOHead结构，改进后的特征融合网络将主干提取网络得到的三个特征向量经过YOLOv5网络中的金字塔特征融合FPN和PAN网络加强融合，得到加强后的特征向量，并融合原来的特征向量，得到改进后的特征融合向量。本发明结合深度学习与传统算法对超声波扫描图像进行处理，能够快速识别像素级别的缺陷类型与分布。

Description

一种结合深度学习的塑封芯片内部缺陷检测方法

技术领域

本发明涉及半导体芯片缺陷检测技术领域，更具体地说，涉及一种结合深度学习的塑封芯片内部缺陷检测方法。

背景技术

在半导体芯片制造领域，塑封芯片的内部缺陷检测是一大难题。在芯片封装过程中，容易受到机械振动、温度变化等因素的影响，造成塑封料与芯片、塑封料与基底产生分层缺陷，严重影响塑封芯片的性能。

由于分层等缺陷属于芯片内部缺陷，需要借助超声扫描成像技术对芯片内部进行扫描得到超声波扫描图像。再借助超声波扫描图像的振幅强度分布，判断芯片的优劣。常用人工识别判断芯片的缺陷类型，费时费力。

经检索，专利申请号202210402961.X，申请日为2022年4月18日，发明创造名称为：一种塑封芯片内部缺陷的识别方法；该申请案的识别方法包括：S1：获取塑封芯片内部超声检测图像的原始数据集；S2：对所述原始数据集进行数据增广处理，得到增广后的数据集；S3：对所述增广后的数据集进行归一化处理，得到大型图像数据集；S4：利用所述大型图像数据集对多个卷积神经网络模型进行训练和测试，选择其中最优模型进行改进，得到改进后的卷积神经网络模型；S5：利用所述大型图像数据集对所述改进后的卷积神经网络模型进行训练和测试，得到塑封芯片内部缺陷的识别结果。该申请案使用改进后的MobileNetV2神经网络对塑封芯片内部缺陷进行识别分类，但在实际生产检测中，超声波扫描图像中芯片数目多，分布紧密，尺寸小，并且在小尺寸芯片上的缺陷区域仅有几个像素。因此，漏检率较高，检测精度低，不利于检测自动化的实现。除此之外，神经网络算法实现目标检测，需要大量的缺陷图像，在塑封芯片制造行业中，缺陷图像获取难度大，获取成本高，难以满足塑封芯片种类多的需求。

发明内容

1.发明要解决的技术问题

为了解决现有技术中，塑封芯片人工检测带来的效率低、检测慢和神经网络难以区分像素级别缺陷等问题。本发明提供了一种结合深度学习的塑封芯片内部缺陷检测方法，本发明在芯片塑封过程中，利用超声波反射强度图进行缺陷检测，并结合深度学习与传统算法对超声波扫描图像进行处理，能够有效的快速识别像素级别的缺陷类型与分布。

2.技术方案

为达到上述目的，本发明提供的技术方案为：

本发明的一种结合深度学习的塑封芯片内部缺陷检测方法，包括如下步骤：

S1：获取塑封芯片的超声波扫描图像，利用改进后的神经网络算法对超声波扫描图像进行芯片目标检测，获得超声波扫描图像中每一个目标芯片图像；

S2：对获得的芯片图像进行传统图像算法分析，实现芯片缺陷的检测；

所述改进后的神经网络包含主干提取网络、改进后的特征融合网络和YOLOHead结构，改进后的特征融合网络将主干提取网络得到的三个特征向量经过YOLOv5网络中的金字塔特征融合FPN和PAN网络进行加强融合，得到加强后的特征向量，并融合原来的特征向量，得到改进后的特征融合向量。

更进一步地，步骤S1包括如下步骤：

S11：使用超声波扫描仪获得芯片内部的超声波扫描图；

S12：对步骤S11所得图像中的芯片使用二分类进行标注，“芯片”标签设置为1，“非芯片”标签设置为0，将标注好的图像进行训练集、验证集、测试集分类；

S13：对获得的数据集进行数据集扩充，使用图像裁剪、旋转、拼接获得增强后的数据集；

S14：使用构建好的数据集对改进后的YOLOv5s神经网络进行训练，获得训练好的模型；

S15：使用训练好的模型对超声波扫描图像进行计算预测，并获得包含完整芯片区域的目标芯片图像。

更进一步地，所述的主干提取网络包括：Focus模块、第一卷积模块、第一C3模块、第二卷积模块、第二C3模块、第三卷积模块、第三C3模块、第四卷积模块、SPP模块和第四C3模块，将第二C3模块输出、第三C3模块输出、第四C3模块输出作为三个不同尺寸的特征向量。

更进一步地，Focus模块将输入图像每隔一个提取一个像素；所有卷积模块均由二维卷积、batch normalization模块、激活函数组成；所有C3模块则由多个残差结构组成；SPP模块是经过多个不同尺寸卷积后进行叠加而成。

更进一步地，主干提取网络得到的三个不同尺寸的特征向量通过CBAM注意力机制进行训练资源的重新分配，得到重新分配后的特征向量，分别命名为第一特征向量、第二特征向量、第三特征向量；将三个特征向量输入到FPN+PAN金字塔进行特征融合，特征融合后的三个特征向量再次与对应输入特征向量进行叠加融合，得到增强后的特征，最后通过YOLOHead结构得到三个输出。

更进一步地，对改进后的神经网络进行训练的过程如下：

S141：对图像进行归一化，将归一化的图像输入到改进后的YOLOv5s神经网络中；

S142：训练过程使用三种损失函数，分别为分类损失、定位损失、置信度损失，将原有的定位损失由GIOU损失函数替换成CIOU损失函数，分类损失函数使用交叉熵损失函数；

S143：利用交叉熵损失函数和CIOU损失函数对预测结果进行评估，使用Adam优化函数对模型参数进行调整优化，使得损失值逐步降低，当损失值逐渐拟合，不再下降，网络模型训练完成；

S144：利用测试集对训练好的模型进行测试，评估网络的检测性能。

更进一步地，S2步骤包含：

S21：使用图像灰度化、图像二值化算法实现芯片区域与背景的简单分割，结合图像膨胀与腐蚀去除图像噪声，对分割后的二值图像进行边缘检测，得到芯片的边缘区域，进一步的进行最小外接矩形的提取，得到芯片区域的最小外接矩形，按照最小外接矩形进行裁剪，得到准确的芯片区域；

S22：对准确芯片区域图像进行图像灰度化，并分别按照图像行列方向进行像素值累加，得到两个一维向量；将两个一维向量分别求解最小值与第二小值，按照第二小值进行阈值分割，对分割后的两个一维向量求解上升沿与下降沿位置，计算大于阈值的宽度，比较这两个宽度获得芯片的方向位置；获得芯片方向后，对图像进行旋转，保持芯片方向一致，得到旋转方向后的图像；

S23：对旋转矫正后的图像进行潜在缺陷区域提取，获得图像的三个通道，对红色通道与绿色通道进行处理，使用两倍红色通道像素值减去绿色通道的像素值，得到单通道图像；对得到的单通道图像进行阈值分割，得到红色缺陷区域的二值图像；

S24：对得到的二值图像，进行图像连通域计算，得到所有潜在缺陷区域连通域的大小与位置；计算潜在缺陷区域与ROI区域的交并比与潜在缺陷连通域的大小，判断潜在缺陷区域是否为芯片缺陷；并对每一个芯片进行计算判断，结合芯片位置，在超声波扫描图像上显示每个芯片是否存在缺陷。

3.有益效果

采用本发明提供的技术方案，与已有的公知技术相比，具有如下显著效果：

(1)本发明的一种结合深度学习的塑封芯片内部缺陷检测方法，能够实现塑封芯片的超声波内部扫描缺陷的自动识别，减少人工检测的时间，提升检测效率与检测准确率；且本发明能够实现对芯片上几个像素级别的缺陷进行准确定位与分类，避免大量缺陷图像的标注问题，实现尺寸小的塑封芯片的缺陷识别。

(2)本发明的一种结合深度学习的塑封芯片内部缺陷检测方法，不需要大量的数据集标注，能够节省前期准备时间，且能够根据不同芯片调整传统图像算法，不依赖大量的缺陷图像。

附图说明

图1为本发明所提供的塑封芯片超声扫描缺陷的流程图。

图2为本发明提供的塑封芯片超声波扫描图样。

图3为本发明提供的深度学习神经网络模型图。

图4为本发明提供的C3模块的结构示意图。

图5为本发明提供的SPP模块的结构示意图。

图6为本发明提供的图像处理算法的过程图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

本实施例的一种结合深度学习的塑封芯片内部缺陷检测方法，处理流程如图1所示，具体步骤为：

S1：获取塑封芯片的超声波扫描图像，利用深度学习方法对超声波扫描图像进行芯片目标检测，获得超声波扫描图像中每一个目标芯片图像。其中步骤S1包含：

S11：使用超声波扫描仪获得芯片内部的超声波扫描图，本实施例将电镀后的芯片放入到去离子水中，使用超声波扫描仪进行定位、扫描，得到如图2所示的超声波振幅强度分布图。图2中缺陷区域像素数值越大，反射波的强度越小，缺陷越严重。本实施例共获取100张超声波扫描图像。

S12：对步骤S11所得图像中的芯片使用二分类进行标注，本实施例使用lableme软件，“芯片”标签设置为1，“非芯片”标签设置为0，按照VOC格式进行数据集建立，将标注好的图像进行训练集、验证集、测试集分类。

S13：对获得的数据集进行数据集扩充，扩充数据集的方法包含：对图像进行旋转变换、对图像进行随机裁切并拼接、调整图像的亮度，实现实际情况能够发生的扫描不均匀造成的图像亮度不均匀的情况，得到扩充后的数据集。

S14：对获得扩充后的数据集格式进行分类，按照8：1：1比例进行训练集、验证集、测试集分类，使用构建好的数据集对改进后的YOLOv5s神经网络进行训练，获得训练好的模型。

所述的改进后的YOLOv5s神经网络结构如图3所示，具体为：神经网络的输入尺寸为640*640*3，将输入图像送进Backbone主干提取网络，其中主干提取网络包括：Focus模块、第一卷积模块、第一C3模块、第二卷积模块、第二C3模块、第三卷积模块、第三C3模块、第四卷积模块、SPP模块、第四C3模块，主干提取网络能够实现主干特征提取。其中，Focus模块是将输入图像每隔一个提取一个像素，可以将640*640*3的输入图像转换成320*320*12；所有卷积模块均由二维卷积、batch normalization模块、激活函数组成；所有C3模块如图4所示，由多个残差结构组成；SPP模块如图5所示，是经过多个不同尺寸卷积后进行叠加而成。将第二C3模块输出、第三C3模块输出、第四C3模块输出作为三个不同尺寸的特征向量。

获得三种不同尺寸的特征向量并通过CBAM(卷积注意力模块)注意力机制进行训练资源的重新分配，得到重新分配后的特征向量，分别命名为第一特征向量、第二特征向量、第三特征向量。将三个特征向量输入到FPN(特征金字塔融合)结合PAN(路径聚合网络)进行特征融合，特征融合后的三个特征向量再次与对应输入特征向量进行叠加融合，得到增强后的特征，最后通过YOLOHead(解耦)得到三个输出。

本实施例的网络训练过程如下：

S141：对图像进行归一化，归一化尺寸到640*640*3格式，将归一化的图像输入到改进后的YOLOv5s神经网络中。

S142：改进后的YOLOv5s神经网络包含主干网络、改进后的特征融合网络、YOLOHead结构得到三个输出。其中，改进后的特征融合网络是将主干提取网络得到的三个特征向量经过YOLOv5网络中的金字塔特征融合FPN和PAN网络加强融合，得到加强后的特征向量，并融合原来的特征向量，得到改进后的特征融合向量。

训练过程使用三种损失函数，分别为分类损失、定位损失、置信度损失，在训练时，由于目标尺寸较小，定位不准确，因此将原有的定位损失由GIOU损失函数替换成CIOU损失函数，以提升对目标芯片的准确定位。分类损失函数使用交叉熵损失函数，如式(1)所示：

其中，y表示预测值，

表示真实值。

定位损失为CIOU损失函数，表达式为：

其中，ρ²(b,b^gt)表示预测框与真实框的欧式距离，c表示预测框与真实框最小外接矩形对角线的距离，ν是衡量预测框与真实框的比例参数。

S143：利用交叉熵损失函数和CIOU损失函数对预测结果进行评估，使用Adam优化函数对模型参数进行调整优化，使得损失值逐步降低。当损失值逐渐拟合，不再下降，说明网络模型已经训练完成。

S144：利用测试集对训练好的模型进行测试，评估网络的检测性能。

S15：使用训练好的模型对超声波扫描图像进行计算预测，并获得包含完整芯片区域的目标芯片图像。

S2：对获得的芯片图像进行传统图像算法分析，实现芯片缺陷的检测。其中S2步骤包含：

S21：将得到的芯片图像利用传统图像算法进行进一步的处理，首先使用图像灰度化、图像二值化算法实现芯片区域与背景的简单分割，结合图像膨胀与腐蚀去除图像噪声，对分割后的二值图像进行边缘检测，得到芯片的边缘区域，进一步的进行最小外接矩形的提取，得到芯片区域的最小外接矩形，按照最小外接矩形进行裁剪，得到如图6所示准确的芯片区域。

S22：对准确芯片区域图像进行图像灰度化，并分别按照图像行列方向进行像素累加，得到两个一维向量。将两个一维向量分别求解最小值与第二小值，按照第二小值进行阈值分割，对分割后的两个一维向量求解上升沿与下降沿位置，计算大于阈值的宽度，比较这两个宽度可以获得芯片的方向位置。获得芯片方向后，对图像进行旋转，保持芯片方向一致，得到如图4中旋转方向后的图像。

S23：对旋转矫正后的图像进行潜在缺陷区域提取，获得图像的三个通道，由于超声波扫描图返回的是振幅强度分布图，蓝色通道的所有像素数值为0。因此，仅对红色通道与绿色通道进行处理，使用两倍红色通道像素数值减去绿色通道的像素值，得到单通道图像，其计算公式如下所示：

M＝M_R-M_G                               (3)

其中，M表示获得灰度像素值，M_R表示红色通道对应的像素值，M_G表示绿色通道对应的像素值。对得到的单通道图像进行阈值分割，得到如图6中的潜在缺陷区域的二值图像。

S24：对得到的二值图像，进行图像连通域计算。得到所有潜在缺陷区域连通域的大小与位置。计算潜在缺陷区域与ROI区域的交并比与潜在缺陷连通域的大小，判断潜在缺陷区域是否为芯片缺陷。二值图像中，ROI区域以外的区域是塑封芯片的潜在缺陷区域，ROI区域中的区域是由于塑封芯片中的电容等其他器件本身造成的干扰。并对每一个芯片进行计算判断，结合芯片位置，在超声波扫描图像上显示每个芯片是否存在缺陷。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，包括如下步骤：

S1：获取塑封芯片的超声波扫描图像，利用改进后的神经网络算法对超声波扫描图像进行芯片目标检测，获得超声波扫描图像中每一个目标芯片图像；

S2：对获得的芯片图像进行传统图像算法分析，实现芯片缺陷的检测；

所述改进后的神经网络包含主干提取网络、改进后的特征融合网络和YOLOHead结构，改进后的特征融合网络将主干提取网络得到的三个特征向量经过YOLOv5网络中的金字塔特征融合FPN和PAN网络进行加强融合，得到加强后的特征向量，并融合原来的特征向量，得到改进后的特征融合向量。

2.根据权利要求1所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，步骤S1包括如下步骤：

S11：使用超声波扫描仪获得芯片内部的超声波扫描图；

S12：对步骤S11所得图像中的芯片使用二分类进行标注，“芯片”标签设置为1，“非芯片”标签设置为0，将标注好的图像进行训练集、验证集、测试集分类；

S13：对获得的数据集进行数据集扩充，使用图像裁剪、旋转、拼接获得增强后的数据集；

S14：使用构建好的数据集对改进后的YOLOv5s神经网络进行训练，获得训练好的模型；

S15：使用训练好的模型对超声波扫描图像进行计算预测，并获得包含完整芯片区域的目标芯片图像。

3.根据权利要求2所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：所述的主干提取网络包括：Focus模块、第一卷积模块、第一C3模块、第二卷积模块、第二C3模块、第三卷积模块、第三C3模块、第四卷积模块、SPP模块和第四C3模块，将第二C3模块输出、第三C3模块输出、第四C3模块输出作为三个不同尺寸的特征向量。

4.根据权利要求3所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：Focus模块将输入图像每隔一个提取一个像素；所有卷积模块均由二维卷积、batchnormalization模块、激活函数组成；所有C3模块则由多个残差结构组成；SPP模块是经过多个不同尺寸卷积后进行叠加而成。

5.根据权利要求4所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：主干提取网络得到的三个不同尺寸的特征向量通过CBAM注意力机制进行训练资源的重新分配，得到重新分配后的特征向量，分别命名为第一特征向量、第二特征向量、第三特征向量；将三个特征向量输入到FPN+PAN金字塔进行特征融合，特征融合后的三个特征向量再次与对应输入特征向量进行叠加融合，得到增强后的特征，最后通过YOLOHead结构得到三个输出。

6.根据权利要求5所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于：对改进后的神经网络进行训练的过程如下：

S141：对图像进行归一化，将归一化的图像输入到改进后的YOLOv5s神经网络中；

S142：训练过程使用三种损失函数，分别为分类损失、定位损失、置信度损失，将原有的定位损失由GIOU损失函数替换成CIOU损失函数，分类损失函数使用交叉熵损失函数；

S143：利用交叉熵损失函数和CIOU损失函数对预测结果进行评估，使用Adam优化函数对模型参数进行调整优化，使得损失值逐步降低，当损失值逐渐拟合，不再下降，网络模型训练完成；

S144：利用测试集对训练好的模型进行测试，评估网络的检测性能。

7.根据权利要求1-6任一项所述的一种结合深度学习的塑封芯片内部缺陷检测方法，其特征在于，S2步骤包含：

S21：使用图像灰度化、图像二值化算法实现芯片区域与背景的简单分割，结合图像膨胀与腐蚀去除图像噪声，对分割后的二值图像进行边缘检测，得到芯片的边缘区域，进一步的进行最小外接矩形的提取，得到芯片区域的最小外接矩形，按照最小外接矩形进行裁剪，得到准确的芯片区域；

S22：对准确芯片区域图像进行图像灰度化，并分别按照图像行列方向进行像素值累加，得到两个一维向量；将两个一维向量分别求解最小值与第二小值，按照第二小值进行阈值分割，对分割后的两个一维向量求解上升沿与下降沿位置，计算大于阈值的宽度，比较这两个宽度获得芯片的方向位置；获得芯片方向后，对图像进行旋转，保持芯片方向一致，得到旋转方向后的图像；

S23：对旋转矫正后的图像进行潜在缺陷区域提取，获得图像的三个通道，对红色通道与绿色通道进行处理，使用两倍红色通道像素值减去绿色通道的像素值，得到单通道图像；对得到的单通道图像进行阈值分割，得到红色缺陷区域的二值图像；

S24：对得到的二值图像，进行图像连通域计算，得到所有潜在缺陷区域连通域的大小与位置；计算潜在缺陷区域与ROI区域的交并比与潜在缺陷连通域的大小，判断潜在缺陷区域是否为芯片缺陷；并对每一个芯片进行计算判断，结合芯片位置，在超声波扫描图像上显示每个芯片是否存在缺陷。

Images